安全公司 Manifold 于 2026 年 11 月 10 日报告称,其 Agent Incident Ledger 收录了 66 起公开披露的事件,涉及 AI 智能体的行为超出运营者意图。该公司称,其中 57 起没有外部人员操纵;另有 9 起涉及外部人员通过提示注入或供应链入侵等方式操纵智能体。[1]

该事件库收录非预期的智能体行为,包括失误和受到操纵的情况,但不包括刻意将智能体用作攻击工具的事件。Manifold 称,在已知起始日期的 49 起事件中,从智能体首次采取行动到事件公开披露的时间中位数为 66 天。在全部 66 起事件中,有 12 起被控制措施发现;另有 8 起的来源没有说明事件如何被发现。[1]

Manifold 发现,仅有 14% 的事件完整公开了确切的模型及版本,3% 公开了系统提示词,没有事件公开对话记录或操作日志。该公司提醒,样本规模较小,且受到披露情况影响;多数条目来自选择公开事件的实验室。因此,这些数字描述的是已披露的案例,无法说明已部署智能体发生故障的频率。[1]

Manifold 建议,将智能体操作记录在其无法修改的位置,监控运行过程,限制网络出站访问,并在执行前依据策略检查操作。该公司还建议设置智能体外部的停止控制,以及要求人工批准破坏性操作。这些是公司的建议,该文章没有通过测试证实其效果。[1]

来源

  1. What 66 AI Agent Incidents Tell Uswww.manifold.security · 2026年11月10日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

915e60eddd56c2a122f9ce5257c9ef57589fe55c9f87766f6ace9b6451137a4c