Amazon 于 2026 年 11 月 16 日宣布推出开源工具 BenchProofer,为编程基准增加形式化验证材料。该公司还发布了 SWE-Proof,将这一方法应用于 SWE-Bench Verified 的全部 500 个任务,目的是发现基准现有测试可能遗漏的错误。[1]

对每项任务,BenchProofer 使用问题描述、已被接受的参考解法和检验修复的方法,生成形式化规约、参考实现,以及实现满足规约的数学证明;这一结论以所列假设成立为前提。验证器检查数学证明,测试和审查则评估该实现与代码仓库中代码的一致性。Amazon 表示,新代码调用的已有函数所对应的契约经过测试,但未经形式化验证。[1]

在审查模式下,额外测试会寻找通过原有测试的补丁与参考解法之间的行为差异。在验证模式下,智能体获得一份规约,同时生成仓库补丁和供验证的独立实现;审查再检查两者是否一致。Amazon 称,对 Claude Opus 4.8 通过原有测试的 425 个补丁,其审查标记了其中 134 个。人工审查从被标记的补丁中抽取 41 个,发现其中 21 个存在缺陷,其余 20 个是有效修复。[1]

来源

  1. BenchProofer: Formally verified coding benchmarks, on demandwww.amazon.science · 2026年11月16日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

0f94a363fe0ecd5efd319c9537e071688ca42ef30abd32ec5bddf8f1032c92da