Mustafa S. Aljumaily、Nawar S. Alseelawi 和 Raghad Alshabandar 于 2026 年 11 月 8 日向 arXiv 提交预印本,比较面向工具调用智能体的提示注入防御。摘要称,即使模型提出恶意工具调用,模型外部的确定性控制仍可限制其执行。研究在包含 13 项任务和 12 个工具的可执行环境中,比较提示词防御、四种按策略检查操作的引用监控器、人工批准和污点跟踪。[1]

对于 Qwen2.5-1.5B 和 Qwen2.5-7B,作者报告每种防御、每个模型各进行 156 轮攻击实验。在任务约束监控器下,两个模型分别在 64% 和 84% 的攻击轮次中提出攻击者要求的调用,监控器分别放行 1.3% 和 7.7%。这些是两个模型面对静态攻击的报告结果,不能据此认定控制措施可以阻止所有攻击。[1]

摘要另行介绍了模拟结果:在假定的防御衰减规律下,持续自适应攻击或模型失陷使各类防护组合的攻击成功率达到 100%,而任务约束监控器将严重操作的发生率保持在 0%。人工批准和污点跟踪的结果仅来自模拟。作者也承认,较大模型的检测器实验结果与该衰减假设相矛盾,并称已提供代码、数据、结果判定机制的审计及复现实验笔记本。[1]

[1]: https://arxiv.org/abs/2611.11571

来源

  1. Treating the Model as an Untrusted Component: Deterministic Policy Enforcement, Human Approval and Taint Tracking Against Prompt Injection in Tool-Using Agents, with Validation on Open-Weights ModelsarXiv · 2026年11月8日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

231b8005b890eb9c0c7aa16d5844dd40ef75793b0bb5fdcfb4ef42d2055e9e81