2026 年 10 月 25 日提交至 arXiv 的一篇预印本称,独立复核能以相对有限的额外成本,提高编程智能体的任务准确率。在 Rethinking Verification in Agent Harnesses 中,Zhengxin Zhang 等六位作者研究了智能体框架如何安排核查与修改。这类框架使语言模型能够调用工具、观察结果,并持续推进任务。[1]

作者将核查看作测试时扩展的一种方式,即在执行任务时投入更多处理工作。研究框架涵盖初始指令、执行过程中的提醒、完成关卡和独立复核。作者称,他们在 Terminal-Bench(TB)和 SWE-bench Verified(SWE)上,使用七个前沿编程模型比较了 17 种设计,并提出 VisualBench,由专家评价视觉与交互作品。[1]

摘要报告,独立评审使 TB 的平均准确率提高 5.9–9.5 个百分点,SWE 提高 3.9–6.6 个百分点;成本分别为基线的 1.13–1.25 倍和 1.00–1.04 倍。初始指令和过程提醒带来的提升较小,且因模型而异;完成关卡可能带来更大提升,但成本也可能显著增加。在 VisualBench 上,四种独立复核设计相对基线的净偏好分数提高了 13.2–23.8 点。这些均为作者报告的实验结果。[1]

[1]: Rethinking Verification in Agent Harnesses。arXiv,2026 年 10 月 25 日。https://arxiv.org/abs/2610.34577

主图: Zhengxin Zhang, Erkang Zhu, Yin Lin, Claire Cardie, Bolin Ding, Jingren Zhou · CC BY 4.0。

来源

  1. Rethinking Verification in Agent HarnessesarXiv · 2026年10月25日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

80fd675371812a0f2e8bef824260fa83fa70ded1c7a5e6787040d9510c918329