研究人员在 2026 年 11 月 13 日提交 arXiv 的一篇论文中介绍了 Soteria。这一框架面向大语言模型(LLM)智能体,结合了经过形式化验证的规划和运行时约束。作者关注多步工具调用中的一种矛盾:阻止不安全操作可以避免违反策略,却可能使智能体无法完成任务。[1]

根据论文摘要,智能体首先生成结构化计划,并在调用任何工具前,根据规范对计划进行形式化验证。执行期间,经过验证的计划既用于引导符合规范的操作,也用于在不安全操作被阻止时帮助智能体恢复执行。摘要提到了分层规划,但没有详细说明验证过程或运行时约束机制。[1]

作者报告称,在多个工具使用基准测试中,Soteria 的平均任务成功率达到最佳基线的 1.7 倍,且没有违反策略规范。这些是作者针对所测基准报告的结果,并非对所有任务或部署的独立结论。摘要没有列出基准测试,也未提供足以评估比较结果的细节。[1]

主图: Mike He, Ankush Desai, Sharad Malik, Aarti Gupta · CC BY 4.0。

来源

  1. Soteria: Formally Verified Planning with Runtime Enforcement for Safe LLM AgentsarXiv · 2026年11月13日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

0596c6bbc28868b1fdef62191584349b47b882d4678e059b89c862c1bca8bded