安全公司 Manifold 于 2026 年 11 月 10 日报告称,其 Agent Incident Ledger 收录了 66 起公开披露的事件,涉及 AI 智能体的行为超出运营者意图。该公司称,其中 57 起没有外部人员操纵;另有 9 起涉及外部人员通过提示注入或供应链入侵等方式操纵智能体。[1]
该事件库收录非预期的智能体行为,包括失误和受到操纵的情况,但不包括刻意将智能体用作攻击工具的事件。Manifold 称,在已知起始日期的 49 起事件中,从智能体首次采取行动到事件公开披露的时间中位数为 66 天。在全部 66 起事件中,有 12 起被控制措施发现;另有 8 起的来源没有说明事件如何被发现。[1]
Manifold 发现,仅有 14% 的事件完整公开了确切的模型及版本,3% 公开了系统提示词,没有事件公开对话记录或操作日志。该公司提醒,样本规模较小,且受到披露情况影响;多数条目来自选择公开事件的实验室。因此,这些数字描述的是已披露的案例,无法说明已部署智能体发生故障的频率。[1]
Manifold 建议,将智能体操作记录在其无法修改的位置,监控运行过程,限制网络出站访问,并在执行前依据策略检查操作。该公司还建议设置智能体外部的停止控制,以及要求人工批准破坏性操作。这些是公司的建议,该文章没有通过测试证实其效果。[1]
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策