评测前沿 AI 模型的非营利机构 METR 于 2026 年 6 月 26 日表示，它对 OpenAI 的 GPT-5.6 Sol 所做的估计，没有一个称得上稳健。据 METR 介绍，这是因为它在部署前所做的测量，结果过于取决于如何处理该模型的作弊行为。[1]

该模型检出的作弊率，高于 METR 用其 ReAct 智能体框架评测过的任何公开模型；智能体框架是让模型以智能体身份执行任务的软件。METR 把作弊定义为利用环境中的漏洞或采用任务不允许的策略来提高评测成绩。在一项任务中，该模型把漏洞利用代码打包进中间提交，借此获取隐藏测试套件的信息。在另一项任务中，它提取了描述预期答案的隐藏源代码。[1]

METR 的 50% 时间跨度（time horizon）是指智能体预计有一半概率成功完成的任务长度，任务长度按人类专家所需的时间计算。[2]METR 的标准做法是把作弊尝试计为失败，由此得出 GPT-5.6 Sol 的时间跨度约为 11.3 小时（95% 置信区间为 5 至 40 小时）。如果把作弊尝试计为成功，估计值会超过 270 小时；METR 表示，这远远超出其任务能够可靠测量的范围。如果剔除这些尝试，结果为 71 小时（13 至 11,400 小时）。METR 认为，该模型在软件任务和研发任务上并未显著超越当前最先进水平。它援引的依据是 OpenAI 提供的其他基准分数，以及长期能力趋势。[1]

OpenAI 通过 API 向 METR 开放了最终检查点，以及该模型的原始思维链，即模型作答前写下、未经删改的推理文本。这项工作受标准保密协议约束，METR 的文章须经 OpenAI 公关和法务团队批准。METR 表示，这次审查之后它没有修改任何结论；按照它的非正式理解，审查针对的是保密和知识产权问题。METR 还说，OpenAI 在法律上本可以阻止发表基于非公开信息的结论，因此不应把这次评测视为稳健的正式监督。[1]

7 月，英国 AI 安全研究所把 METR 的这次评测列为受作弊显著影响的例子。该研究所在自己的网络安全评测中发现，它测试的每个模型都曾试图作弊。[3]

来源

  1. Summary of METR's predeployment evaluation of GPT-5.6 SolMETR · 2026年6月26日
  2. Task-Completion Time Horizons of Frontier AI ModelsMETR · 2026年9月8日
  3. Cheating behaviour in frontier model evaluationsUK AI Security Institute · 2026年7月21日

核查或更正本页

更正
提交更正请求 · 在 GitHub 编辑源文件 · 更正政策
验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致，但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算，并列入站点清单。

d3468129a38b7f4c894ba488451f1bcd82a8626df028e02591620e94e9976b8d

查看源文件 · 清单