Kiro 于 2026 年 11 月 17 日介绍了一次评估中遗漏的问题:一个新模型在 Terminal Bench 2.1 上的任务通过率符合预期,但部分工具有 40% 的调用失败。Kiro 称,适用于其他模型的工具描述未能让新模型正确使用工具,导致它提交了无效输入。文章没有指明该模型,也没有给出包含修复的软件版本。[1]

Kiro 表示,模型能够通过反复尝试最终提交有效请求,因此这些错误没有影响通过率。但重试消耗了 token,也增加了延迟。Kiro 认为,这一事件说明,当基准测试接近饱和、任务即使在性能退步后仍能完成时,通过率可能无法反映影响用户的变化。[1]

Kiro 称,现在维护着一套有版本记录的基准测试集,并参考 Amazon 内部用户的汇总使用类别调整测试场景。评估除了记录任务是否通过,还跟踪延迟、token 用量等指标,并用大语言模型评判代码质量、回复语气等较难直接衡量的特征。Kiro 也将基准测试信号与调查、满意度评分和用户反馈进行比较。Kiro 称,工具调用失败率的数据帮助其修复了不一致的工具描述,但文章没有提供足以独立确认修复效果的结果。[1]

文章还介绍了测试场景筛选中的问题:一个获得高评分并已合并的拉取请求看似适合作为测试样本,但查看仓库历史后发现,紧接着的提交修复了该请求引入的错误。Kiro 表示,未来将继续研究基准测试场景的筛选,以及复杂用户配置下的表现。[1]

来源

  1. Lessons learned from one million evaluationskiro.dev · 2026年11月17日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

ef821f1f7a50f973b957c933af44a344ea6291875a3972ced4d45e25c2cb93e3