---
title: "Trace2Eval 提出从真实交互轨迹构建编程智能体评测"
dek: "一篇 arXiv 预印本提出还原用户任务，并以人工评价校准自动评审。文中报告的分数提升属于作者主张，尚未经我们独立测试。"
---

Ji Shi 等八位作者于 2026 年 11 月 4 日向 arXiv 提交 Trace2Eval，提出一条可动态更新的流水线，从真实交互轨迹构建编程智能体基准。作者希望借此评估用户工作流中产出物的整体质量，将评测范围扩展到静态公开任务的正确性之外。[^1]

据摘要介绍，多智能体重建系统会分析经过筛选的轨迹，恢复原始用户请求，将工作区文件还原至交互前的状态，并重建一个旨在与原轨迹等效的执行环境。随后，待评测智能体执行还原后的请求，生成初始产出物。[^1]

评测流水线通过协调标注者的判断，反复完善人工评分标准，并结合源代码与运行时证据，以人工评价校准评审智能体。作者报告称，模型根据流水线反馈修改产出物后，19 种模型与运行框架配置的平均分数提高了 10.05 个百分点；DeepSeek-V4-Pro 搭配 Claude Code 的提升最大，达到 19.28 个百分点。这些属于作者报告的评测结果；保存的摘要不足以说明这些提升在其他工作流中是否成立。[^1]

:::analysis
这项主张涉及 T6 评测层、T5 智能体层和 T2 运行时层：要信任分数，就需要审视评分标准与评审校准、智能体配置，以及重建的环境。用户和运营方应检查自身评测记录能否标明这些组成部分，并提供环境重建与评审校准的依据；摘要介绍了这些步骤，但没有提供足以独立评估其还原程度和校准效果的细节。这里涉及的可核验属性是可识别性：如果为用户提供服务的确切版本和配置有记录且可查，用户就能判断自己是否接触过被评测的那套系统，而性能表现仍需另行验证。保存的来源没有指出安全缺陷，也没有建议安装任何修复版本。[^1]
:::

:::checked
我们于 2026 年 11 月 10 日阅读了用户提供的 Trace2Eval arXiv 摘要页保存文本，编号为 arXiv:2611.06506，页面记录的 v1 提交日期为 2026 年 11 月 4 日。这次阅读只能确认作者描述了哪些方法、报告了哪些结果；我们没有阅读全文、检查实现或数据、复现分数，也没有测试该系统。[^1]
:::

[^1]: Trace2Eval: Contextualized Evaluation of Coding Agents from Real-World Traces。arXiv，2026 年 11 月 4 日。https://arxiv.org/abs/2611.06506
