---
title: "DeputyBench 作者报告企业智能体处理授权证据缺失时存在差距"
dek: "一篇基准测试预印本报告称，授权证据缺失时，受限操作的执行频率高于明确未获授权时。论文摘要提醒，证据充分时的良好表现并不能说明智能体在无法核实授权时会可靠地停止操作。"
---

Hao Zhao 和 Minghao Lin 于 2026 年 11 月 9 日提交了一篇预印本，介绍可执行基准测试 DeputyBench，用于评估企业智能体在处理请求时是否遵循组织记录和政策。作者称，该基准包含 79 个基础条目、375 个实例、成对的授权情境，以及分级的证据要求。[^1]

摘要报告称，针对 12 个模型的修订审计得到 88.0% 的汇总安全率和 79.1% 的配对成功率。在另一项涉及 28 个衍生任务和 6 个模型的对照研究中，作者测试了授权事实变化、证据遮蔽和无关内容改写的影响。在 27 个匹配任务中，证据缺失时受限操作的执行比例为 10.3%，明确未获授权时为 3.5%。作者将两者相差 6.8 个百分点列为次要分析，95% 区间为 1.9 至 13.0 个百分点。[^1]

一项事后分析显示，证据被遮蔽时发生的 100 次执行中，有 61 次集中在 4 个隐私任务上；这些任务涉及完整的累计计数或特定个人的同意。摘要称，排除这 4 个任务后，差距要小得多；该分析并未确定内部机制。摘要还报告，两名安全专家人工核实了任务的标准答案，而阶段标签仍由语言模型生成。在 284 个留出的反例中，评分器正确评分的案例数从 178 个增加到 266 个。[^1]

:::analysis
这一问题涉及 T6 评估层和 T5 智能体层：基准测试可以描述智能体在测试任务中的表现，用户仍需评估自身环境中的智能体及其使用的授权证据。这里需要核实的属性是可识别性：如果服务用户的确切版本和配置有记录且可查，用户便能判断自己是否接触过某个被评估的配置或故障条件。运营方应核查服务用户的版本和配置，并检查自己的智能体在授权证据缺失时是否停止操作；摘要没有推荐修复版本，也没有说明部署环境一定具备这些检查条件。[^1]
:::

:::checked
我们于 2026 年 11 月 17 日阅读了保存的 arXiv 摘要页面，即 Zhao 和 Lin 的《DEPUTYBENCH: Evaluating Contextual Safety in Enterprise Agents》。[^1] 我们没有阅读论文全文，也没有测试该基准、智能体或报告中的结果；以上数字均为作者在摘要中提出的结果。
:::
