一篇于 2026 年 11 月 9 日提交至 arXiv 的预印本指出,面对某些行为规则,门控程序无法仅凭有限且可由机器核验的证据,对 AI 助手编写的所有程序作出完整判定。作者 Tomas Perez-Acle 研究的门控程序仅根据代码决定程序是否可以运行。[1]

摘要讨论了三项要求:绝不执行被禁止的操作、绝不让输出依赖秘密信息,以及最终始终给出回答。摘要称,对于禁止性规则,运行过程可以暴露违规行为,但有限的观察无法永久确认一个安全程序不会违规。对于保密性和最终响应,摘要称,在所设定的有限证据条件下,合规与不合规都无法始终得到确认。[1]

作者还表示,设定时间上限可以使问题变得可判定,但可能需要运行程序直到接近整个时限结束。摘要提出了一个范围较窄的替代方案:建立一份可核验的清单,包含门控程序必须放行的所有程序,且不包含任何必须拒绝的程序。摘要还报告了针对随机程序和自指对抗程序的模拟,但保存的摘要没有提供足够细节,无法独立评估模拟设计或结果。[1]

主图: Tomas Perez-Acle · CC BY 4.0。

来源

  1. No finite rulebook can certify every safe program: an impossibility theorem for gatekeeping AI agentsarXiv · 2026年11月9日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

c7cf0318ba44f4f0459efdd52b954dfa1fa17e77e42249215cb093f6c967df68