Doron Shavit 于 2026 年 11 月 8 日向 arXiv 提交论文,提出一种运行时审计方法,应对工具型智能体面临的间接提示注入:攻击指令藏在工具输出中,诱导智能体执行用户未要求的操作。摘要介绍了如何依据用户目标检查工具调用,但明确表示端到端验证仍未完成。[1]
该方法每项任务调用一次大语言模型(LLM),根据用户目标和部署环境的工具目录生成可执行的意图图。随后,确定性循环逐次检查工具调用,无须再次调用 LLM。摘要报告,每次检查的耗时中位数为 5.7 微秒;这是作者报告的测量值,我们没有复现。[1]
方案还通过两种机制减少对正常任务的影响。查询用户自身状态的调用可绕过审计,作者给出的理由是,攻击的危害发生在写入或对外操作环节。其余被标记的调用交由推理守卫处理。守卫接收用户目标、计划、不含工具输出的调用历史,以及被标记的调用,并可通过受限的 Python 表达式工具核查事实。摘要同时指出,一个当前智能体在基线条件下未出现攻击成功,因此这套防御的端到端验证仍待完成。[1]
[1]: https://arxiv.org/abs/2611.11305
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策