---
title: "Kiro 称任务通过率掩盖了编程智能体的工具调用失败"
dek: "Kiro 称，一个新模型在基准测试中的通过率符合预期，却频繁提交无效的工具调用输入。Kiro 表示，其评估流程现在会同时关注任务完成情况、效率和用户反馈。"
---

Kiro 于 2026 年 11 月 17 日介绍了一次评估中遗漏的问题：一个新模型在 Terminal Bench 2.1 上的任务通过率符合预期，但部分工具有 40% 的调用失败。Kiro 称，适用于其他模型的工具描述未能让新模型正确使用工具，导致它提交了无效输入。文章没有指明该模型，也没有给出包含修复的软件版本。[^1]

Kiro 表示，模型能够通过反复尝试最终提交有效请求，因此这些错误没有影响通过率。但重试消耗了 token，也增加了延迟。Kiro 认为，这一事件说明，当基准测试接近饱和、任务即使在性能退步后仍能完成时，通过率可能无法反映影响用户的变化。[^1]

Kiro 称，现在维护着一套有版本记录的基准测试集，并参考 Amazon 内部用户的汇总使用类别调整测试场景。评估除了记录任务是否通过，还跟踪延迟、token 用量等指标，并用大语言模型评判代码质量、回复语气等较难直接衡量的特征。Kiro 也将基准测试信号与调查、满意度评分和用户反馈进行比较。Kiro 称，工具调用失败率的数据帮助其修复了不一致的工具描述，但文章没有提供足以独立确认修复效果的结果。[^1]

文章还介绍了测试场景筛选中的问题：一个获得高评分并已合并的拉取请求看似适合作为测试样本，但查看仓库历史后发现，紧接着的提交修复了该请求引入的错误。Kiro 表示，未来将继续研究基准测试场景的筛选，以及复杂用户配置下的表现。[^1]

:::analysis
这一问题涉及 T6 评估层和 T5 智能体层：任务完成率可能掩盖耗费资源的智能体行为，因此读者还需要依靠其他测量指标和评估者的判断。这里涉及的可核查属性是可识别性：如果为某位用户提供服务的确切版本和配置有记录且可核查，该用户就能判断自己是否受到这一问题影响。用户和运营方应依据可获得的部署记录，检查各自使用的模型、客户端、工具描述及其他相关配置；文章没有给出可供核对的修复版本。这篇文章不能确定某位用户的部署是否受到影响或已得到修复。[^1]
:::

:::checked
我们于 2026 年 11 月 20 日阅读了 Kiro 保存下来的官方文章《Lessons learned from one million evaluations》。我们没有测试 Kiro，也没有独立核实其测量结果、部署历史或修复情况。来源地址为 https://kiro.dev/blog/1m-evals-lessons/。[^1]
:::
