Alexey Kurakin 及另外十位作者于 2026 年 11 月 9 日向 arXiv 提交了 Scaling Adaptive Prompt Injection Attacks with Agent Swarms。作者报告,能力更强的攻击智能体能够诱使模型遵循工具输出中嵌入的指令,涉及的模型包括此前在 GraySwan Arena 等公开提示注入基准上被认为较为稳健的模型。这些结论来自保存的论文摘要,属于作者报告的研究结果。[1]
研究人员介绍了一套合成评测数据集,将随机、无恶意的动作设为攻击目标。这样设计是为了衡量模型能否遵循指令层级,并将这种能力与模型掌握的安全实践知识区分开来。这里关注的失败情形是:模型接受了权威级别较低的工具输出中的指令。[1]
摘要认为,现有评测和人工红队测试看似进入平台期,并不意味着系统能够抵御能力持续增强的攻击者。作者主张继续研究防御,并提出开展主动、自动化的红队测试。保存的页面没有给出攻击成功率、智能体群的详细设计、受测模型的确切版本及配置,也没有推荐修复版本,因此无法据此判断某项已部署服务是否受影响。[1]
[1]: Scaling Adaptive Prompt Injection Attacks with Agent Swarms,arXiv,2026 年 11 月 9 日。
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策