Hao Zhao 和 Minghao Lin 于 2026 年 11 月 9 日提交了一篇预印本,介绍可执行基准测试 DeputyBench,用于评估企业智能体在处理请求时是否遵循组织记录和政策。作者称,该基准包含 79 个基础条目、375 个实例、成对的授权情境,以及分级的证据要求。[1]

摘要报告称,针对 12 个模型的修订审计得到 88.0% 的汇总安全率和 79.1% 的配对成功率。在另一项涉及 28 个衍生任务和 6 个模型的对照研究中,作者测试了授权事实变化、证据遮蔽和无关内容改写的影响。在 27 个匹配任务中,证据缺失时受限操作的执行比例为 10.3%,明确未获授权时为 3.5%。作者将两者相差 6.8 个百分点列为次要分析,95% 区间为 1.9 至 13.0 个百分点。[1]

一项事后分析显示,证据被遮蔽时发生的 100 次执行中,有 61 次集中在 4 个隐私任务上;这些任务涉及完整的累计计数或特定个人的同意。摘要称,排除这 4 个任务后,差距要小得多;该分析并未确定内部机制。摘要还报告,两名安全专家人工核实了任务的标准答案,而阶段标签仍由语言模型生成。在 284 个留出的反例中,评分器正确评分的案例数从 178 个增加到 266 个。[1]

来源

  1. DEPUTYBENCH: Evaluating Contextual Safety in Enterprise AgentsarXiv · 2026年11月9日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

fb6395ddf040d726a36f63a6c88b4cda4c9067b3c32d22fa18c5c8caf7f81faa