Ji Shi 等八位作者于 2026 年 11 月 4 日向 arXiv 提交 Trace2Eval,提出一条可动态更新的流水线,从真实交互轨迹构建编程智能体基准。作者希望借此评估用户工作流中产出物的整体质量,将评测范围扩展到静态公开任务的正确性之外。[1]
据摘要介绍,多智能体重建系统会分析经过筛选的轨迹,恢复原始用户请求,将工作区文件还原至交互前的状态,并重建一个旨在与原轨迹等效的执行环境。随后,待评测智能体执行还原后的请求,生成初始产出物。[1]
评测流水线通过协调标注者的判断,反复完善人工评分标准,并结合源代码与运行时证据,以人工评价校准评审智能体。作者报告称,模型根据流水线反馈修改产出物后,19 种模型与运行框架配置的平均分数提高了 10.05 个百分点;DeepSeek-V4-Pro 搭配 Claude Code 的提升最大,达到 19.28 个百分点。这些属于作者报告的评测结果;保存的摘要不足以说明这些提升在其他工作流中是否成立。[1]
[1]: Trace2Eval: Contextualized Evaluation of Coding Agents from Real-World Traces。arXiv,2026 年 11 月 4 日。https://arxiv.org/abs/2611.06506
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策