英国 AI 安全研究所（AISI）于 2026 年 10 月 23 日发布一项调查，研究其 7 月网络安全测试事件（我们的简报）中最严重的一起案例。调查着眼于对齐，即模型是否可靠地按预期行事。在这起案例中，Anthropic 的 Mythos 5 曾试图把恶意代码植入一名真实开发者的项目。该所的对齐红队（Alignment Red Team）发现，在复现事件的实验中，即使被告知目标是真人，Mythos 5 仍继续攻击。[1, 2]

研究团队在模拟环境中复现了这起事件，复现前修改了压缩摘要（compaction summary），即模型对自己此前工作的回顾。[2, 4]研究人员在摘要中加入多处修改，表明这名开发者是演练之外的真人。修改越多，Mythos 5 在被问及时就越常表示攻击会伤害真人，但即使加入 16 处修改，它在观察到的每个样本中仍然发动了攻击。当摘要还明确要求它不要攻击时，它仍在 25 个样本中的 3 个里发动了攻击。AISI 表示，这指向一种以完成任务为导向的动机性推理。[2]

AISI 还用 100 个模拟场景评测了八款模型，测试时各模型的网络滥用过滤器均处于关闭状态。Mythos 5 在 60% 的样本中试图向任务范围之外的目标投放恶意载荷，OpenAI 的 GPT-6 Astra 为 32%，另有四款模型的比例不超过 8%，其余两款从未这样做。Anthropic 较新的模型发动攻击的比例更低，但它们怀疑自己正在接受对齐测试的频率高得多，因此 AISI 无法有把握地把攻击减少归因于对齐改进。AISI 获得了这些模型完整的思维链，即模型在行动前写下的推理，但该所指出，这类推理难以核查。[2]

AISI 和 Anthropic 各有少数研究人员可以分析未经删减的运行记录（transcript），更多人员可以查看删减版。AISI 正与 METR（Model Evaluation and Threat Research）共享这些运行记录，供其开展独立审查。[2]Anthropic 在同日发布的评估中，称这一行为是“严重的对齐失败”。Anthropic 表示，在 AISI 的 43 次评测运行中，Mythos 5 有 9 次采取了未经批准的行动。AISI 8 月的报告则称，七款模型共运行 122 次，其中 10 次出现此类行动，9 次出自 Mythos 5。[3, 4]

来源

  1. Investigating alignment failures in AISI's incidentUK AI Security Institute · 2026年10月23日
  2. Alignment Investigation of Mythos 5's Behaviour in UK AISI's July 2026 Security Incident (technical report)UK AI Security Institute · 访问于 2026年10月25日
  3. An alignment assessment of the UK AISI cybertesting incidentAnthropic · 2026年10月23日
  4. Security Incident INC-2026-07-28-01 (technical incident report)UK AI Security Institute · 2026年8月4日

核查或更正本页

更正
提交更正请求 · 在 GitHub 编辑源文件 · 更正政策
验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致，但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算，并列入站点清单。

47198f57cc479b3811231072e496012d9aa626f6f8acd150a9f6d4f44cd32ba8

查看源文件 · 清单