研究人员于 2026 年 11 月 12 日提交了一篇预印本,提出检查 AI 智能体是否遵循预期用途的方法。作者表示,智能体即使没有超出获授权限,也没有出现可识别的攻击模式,仍可能偏离其职责或组织约束。[1]
这一框架名为 Intent-Aware Security,以组织意图、角色意图和开发者意图构建的意图画像作为评估智能体行为的参照。作者描述了四种用途:执行前检测、执行后检测、输入对齐和系统提示词加固。摘要将这些方法作为防护措施,用于应对智能体偏离预期角色和运行边界的情况。[1]
作者报告,他们构建的意图感知基准包含 887 个经过验证的样本,覆盖 35 个智能体。他们表示,在各项评估中,基于画像的防护在主要指标上均优于所有不使用画像的基线。在自建基准上,报告的四分类宏平均 F1 从 45% 升至 79%,范围外行为的 F1 从 8% 升至 76%。这些结果由作者报告,尚未经我们独立复现。[1]
摘要还报告了对超过 10,000 条已执行 AgentDojo 轨迹的评估,其中真实标签来自环境状态。基于画像的执行后检测,其接收者操作特征曲线下面积为 0.949;AlignmentCheck 为 0.909,使用原始智能体配置为 0.897,不提供上下文为 0.843。作者还称,在良性任务效用相近的情况下,基于画像的输入对齐比 DataFilter 的防护成功率高 7 个百分点。[1]
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策