Ji Shi 等八位作者于 2026 年 11 月 4 日向 arXiv 提交 Trace2Eval,提出一条可动态更新的流水线,从真实交互轨迹构建编程智能体基准。作者希望借此评估用户工作流中产出物的整体质量,将评测范围扩展到静态公开任务的正确性之外。[1]

据摘要介绍,多智能体重建系统会分析经过筛选的轨迹,恢复原始用户请求,将工作区文件还原至交互前的状态,并重建一个旨在与原轨迹等效的执行环境。随后,待评测智能体执行还原后的请求,生成初始产出物。[1]

评测流水线通过协调标注者的判断,反复完善人工评分标准,并结合源代码与运行时证据,以人工评价校准评审智能体。作者报告称,模型根据流水线反馈修改产出物后,19 种模型与运行框架配置的平均分数提高了 10.05 个百分点;DeepSeek-V4-Pro 搭配 Claude Code 的提升最大,达到 19.28 个百分点。这些属于作者报告的评测结果;保存的摘要不足以说明这些提升在其他工作流中是否成立。[1]

[1]: Trace2Eval: Contextualized Evaluation of Coding Agents from Real-World Traces。arXiv,2026 年 11 月 4 日。https://arxiv.org/abs/2611.06506

来源

  1. Trace2Eval: Contextualized Evaluation of Coding Agents from Real-World TracesarXiv · 2026年11月4日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

06de4a275e9ea047b7462a6220b341c49bb7551a107b98e61afb9cfbbfc4a81e