Kiro 于 2026 年 11 月 17 日介绍了一次评估中遗漏的问题:一个新模型在 Terminal Bench 2.1 上的任务通过率符合预期,但部分工具有 40% 的调用失败。Kiro 称,适用于其他模型的工具描述未能让新模型正确使用工具,导致它提交了无效输入。文章没有指明该模型,也没有给出包含修复的软件版本。[1]
Kiro 表示,模型能够通过反复尝试最终提交有效请求,因此这些错误没有影响通过率。但重试消耗了 token,也增加了延迟。Kiro 认为,这一事件说明,当基准测试接近饱和、任务即使在性能退步后仍能完成时,通过率可能无法反映影响用户的变化。[1]
Kiro 称,现在维护着一套有版本记录的基准测试集,并参考 Amazon 内部用户的汇总使用类别调整测试场景。评估除了记录任务是否通过,还跟踪延迟、token 用量等指标,并用大语言模型评判代码质量、回复语气等较难直接衡量的特征。Kiro 也将基准测试信号与调查、满意度评分和用户反馈进行比较。Kiro 称,工具调用失败率的数据帮助其修复了不一致的工具描述,但文章没有提供足以独立确认修复效果的结果。[1]
文章还介绍了测试场景筛选中的问题:一个获得高评分并已合并的拉取请求看似适合作为测试样本,但查看仓库历史后发现,紧接着的提交修复了该请求引入的错误。Kiro 表示,未来将继续研究基准测试场景的筛选,以及复杂用户配置下的表现。[1]
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策