Amazon 于 2026 年 11 月 16 日宣布推出开源工具 BenchProofer,为编程基准增加形式化验证材料。该公司还发布了 SWE-Proof,将这一方法应用于 SWE-Bench Verified 的全部 500 个任务,目的是发现基准现有测试可能遗漏的错误。[1]
对每项任务,BenchProofer 使用问题描述、已被接受的参考解法和检验修复的方法,生成形式化规约、参考实现,以及实现满足规约的数学证明;这一结论以所列假设成立为前提。验证器检查数学证明,测试和审查则评估该实现与代码仓库中代码的一致性。Amazon 表示,新代码调用的已有函数所对应的契约经过测试,但未经形式化验证。[1]
在审查模式下,额外测试会寻找通过原有测试的补丁与参考解法之间的行为差异。在验证模式下,智能体获得一份规约,同时生成仓库补丁和供验证的独立实现;审查再检查两者是否一致。Amazon 称,对 Claude Opus 4.8 通过原有测试的 425 个补丁,其审查标记了其中 134 个。人工审查从被标记的补丁中抽取 41 个,发现其中 21 个存在缺陷,其余 20 个是有效修复。[1]
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策