2026 年 10 月 16 日,美国三家机构发布了十项自愿性关键实践,用于管理超级智能(SI)智能体在训练和评测期间发生的事件。发布方是美国国家标准与技术研究院(NIST)下属的 Center for Advancing Innovation and Standards for Super Intelligence(CAISSI)、美国国家安全局的 Super Intelligence Security Center(NSA SISC),以及美国网络安全和基础设施安全局(CISA)。[1, 2]NIST 的 CAISSI 网页上还列有 NIST 下属 Center for AI Standards and Innovation(CAISI)发布的成果。[4]
文件对 SI 智能体的定义是:与环境交互、为达成指定目标而自主执行行动的系统。文件称,这类系统通常是一个生成式模型,加上为它提供工具的脚手架软件。文件关注的是 SI 控制事件(SI control incident)。在这类事件中,智能体未经指示采取重大行动,破坏了运营方为界定任务或确保人类监督而设定的策略、控制措施或安全措施。如果行动源于对抗性提示注入,即攻击者把指令植入智能体的输入,则算作“受指示”的行动。如果模型被蓄意植入了后门,由此引发的行动也算作受指示。这些实践分为从准备到报告的五个阶段。[2]CISA 表示,这份文件尤其针对部署前、安全防护有所削减的智能体。[3]
其中几项实践涉及供事后审查的证据。实践 5.3 要求采用带可靠时间戳的防篡改日志,其详细程度应足以重建智能体的行动轨迹、工具调用、推理记录和安全控制决策。实践 3.3 指出,智能体应无法访问或干扰监控进程和日志。实践 5.1 要求各机构根据调查事件的需要,保存模型权重和运行环境。[2]
按照实践 2.4,各机构应与独立的外部审计方和评测方合作,核实控制和监控系统是否按预期运行。实践 10.2 则要求向第三方提供足以开展独立分析的访问权限。[2]实践 2.5 建议公布评测和智能体的标识,帮助防御方理解预料之外的流量。不过作者也指出,公布互联网协议(IP)地址段可能让部署方面临攻击。[2]
来源
- Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation
- Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation (PP-26-4396, version 1.0)
- Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation
- Center for Advancing Innovation and Standards for Super Intelligence (CAISSI)
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策
