研究人员在 2026 年 11 月 13 日提交 arXiv 的一篇论文中介绍了 Soteria。这一框架面向大语言模型(LLM)智能体,结合了经过形式化验证的规划和运行时约束。作者关注多步工具调用中的一种矛盾:阻止不安全操作可以避免违反策略,却可能使智能体无法完成任务。[1]
根据论文摘要,智能体首先生成结构化计划,并在调用任何工具前,根据规范对计划进行形式化验证。执行期间,经过验证的计划既用于引导符合规范的操作,也用于在不安全操作被阻止时帮助智能体恢复执行。摘要提到了分层规划,但没有详细说明验证过程或运行时约束机制。[1]
作者报告称,在多个工具使用基准测试中,Soteria 的平均任务成功率达到最佳基线的 1.7 倍,且没有违反策略规范。这些是作者针对所测基准报告的结果,并非对所有任务或部署的独立结论。摘要没有列出基准测试,也未提供足以评估比较结果的细节。[1]
主图: Mike He, Ankush Desai, Sharad Malik, Aarti Gupta · CC BY 4.0。
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策
