Anthropic 于 2026 年 11 月 13 日发布了构建 AI 安全评估的建议。公司认为,模型安全声明是否可靠,取决于评估能否准确衡量相关行为。Anthropic 表示,其评估会为部署和防护措施决策提供依据;题目形式、选项顺序等细节也可能改变结果。[1]

Anthropic 介绍了多轮评估的做法:领域专家设定模拟用户的目标和策略,另一个 Claude 模型生成后续用户发言,再由评分模型依据特定风险领域的评分标准评判对话。公司表示,只要其中一轮被判为不恰当,整段对话在恰当回应率指标中就算不合格。公司还建议在同一领域同时测试有害和无害请求,以衡量模型对有害请求的配合以及对无害请求的过度拒绝。[1]

Anthropic 表示,评估环境应与目标部署环境相匹配,包括工具访问权限和系统提示词。公司建议用人工标注校准评分器,测试模型或评分标准变化对结果的影响,并对评分故障发出提示。Anthropic 还建议在不能访问互联网的沙箱中运行安全评估,并进行实时监控;公司表示,在自身发生相关事件后,已暂时停止许多允许模型访问互联网的评估。[1]

来源

  1. Building strong safety evaluationswww.anthropic.com · 2026年11月13日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

2e6670be85e1125128160ef706278ae0da2f4e9ed70861f098859f397bb64e20