研究人员于 2026 年 11 月 12 日提交了一篇预印本,提出检查 AI 智能体是否遵循预期用途的方法。作者表示,智能体即使没有超出获授权限,也没有出现可识别的攻击模式,仍可能偏离其职责或组织约束。[1]

这一框架名为 Intent-Aware Security,以组织意图、角色意图和开发者意图构建的意图画像作为评估智能体行为的参照。作者描述了四种用途:执行前检测、执行后检测、输入对齐和系统提示词加固。摘要将这些方法作为防护措施,用于应对智能体偏离预期角色和运行边界的情况。[1]

作者报告,他们构建的意图感知基准包含 887 个经过验证的样本,覆盖 35 个智能体。他们表示,在各项评估中,基于画像的防护在主要指标上均优于所有不使用画像的基线。在自建基准上,报告的四分类宏平均 F1 从 45% 升至 79%,范围外行为的 F1 从 8% 升至 76%。这些结果由作者报告,尚未经我们独立复现。[1]

摘要还报告了对超过 10,000 条已执行 AgentDojo 轨迹的评估,其中真实标签来自环境状态。基于画像的执行后检测,其接收者操作特征曲线下面积为 0.949;AlignmentCheck 为 0.909,使用原始智能体配置为 0.897,不提供上下文为 0.843。作者还称,在良性任务效用相近的情况下,基于画像的输入对齐比 DataFilter 的防护成功率高 7 个百分点。[1]

来源

  1. Intent-Aware Protection for AI AgentsarXiv · 2026年11月12日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

e600990c6623061d1765f453e452f352f0edc3bd5361ab5f571d10016dd6ab5a