---
title: "Amazon 称 BenchProofer 为编程基准增加形式化检查"
dek: "这款开源工具为基准任务生成形式化规约和经机器检查的数学证明。Amazon 称，额外审查在一些通过现有测试的补丁中发现了缺陷。"
---

Amazon 于 2026 年 11 月 16 日宣布推出开源工具 BenchProofer，为编程基准增加形式化验证材料。该公司还发布了 SWE-Proof，将这一方法应用于 SWE-Bench Verified 的全部 500 个任务，目的是发现基准现有测试可能遗漏的错误。[^1]

对每项任务，BenchProofer 使用问题描述、已被接受的参考解法和检验修复的方法，生成形式化规约、参考实现，以及实现满足规约的数学证明；这一结论以所列假设成立为前提。验证器检查数学证明，测试和审查则评估该实现与代码仓库中代码的一致性。Amazon 表示，新代码调用的已有函数所对应的契约经过测试，但未经形式化验证。[^1]

在审查模式下，额外测试会寻找通过原有测试的补丁与参考解法之间的行为差异。在验证模式下，智能体获得一份规约，同时生成仓库补丁和供验证的独立实现；审查再检查两者是否一致。Amazon 称，对 Claude Opus 4.8 通过原有测试的 425 个补丁，其审查标记了其中 134 个。人工审查从被标记的补丁中抽取 41 个，发现其中 21 个存在缺陷，其余 20 个是有效修复。[^1]

:::analysis
这一主张位于 T6 评估层：经检查的数学证明表明，特定实现满足特定规约，但这一结论受其假设约束；规约是否忠实反映要求、实现是否对应仓库补丁，仍需评估。用户和运营者应检查各自基准的规约、假设、测试结果和审查结论，包括经过检查的实现是否与部署的补丁一致。可识别性同样重要：如果为某位用户提供服务的确切版本和配置有记录且可核查，该用户就能判断自己是否受到某个问题影响；这篇公告并未表明某项部署具备这样的记录。[^1]
:::

:::checked
我们于 2026 年 11 月 19 日阅读了保存的 Amazon Science 文章《BenchProofer: Formally verified coding benchmarks, on demand》；文章发表于 2026 年 11 月 16 日：https://www.amazon.science/blog/benchproofer-formally-verified-coding-benchmarks-on-demand。[^1] 我们没有测试 BenchProofer、检查其发布的材料，也没有独立复现 Amazon 的结果。该来源没有针对已识别漏洞推荐修复版本。
:::
