Mehmet Murat Huyut 于 2026 年 11 月 4 日提交的一篇预印本报告称,即使语言模型保持不变,控制上下文、工具调用和操作复核的智能体运行框架,也会改变系统遵守银行业务行为规则的表现。论文摘要建议,将模型与框架的组合作为验证对象,并检查操作日志。[1]
研究称,四个开放权重模型分别搭配五种框架,在模拟零售银行的 156 个预注册案例上接受测试。五种框架包括输出结构化决策的流水线、ReAct 式工具循环、只能通过搜索访问政策的循环、带有较长客户记忆的循环,以及由同一模型担任合规复核者的循环。测试中的 11 类规则改写自欧盟相关规定。全部 3,120 段两轮交互均依据实际执行的工具轨迹进行确定性评分,违规与过度拒绝分别统计。[1]
摘要报告,汇总所有模型后,不同框架的案例正确率介于 87.3% 至 92.1%。但对其中一个模型,最佳与最差框架相差 11.5 个百分点;另一个模型则未显示可检测的框架影响。模型与框架的交互效应仅具提示性,尚无定论。同模型复核者将违规率从 9.6% 降至 6.4%,且未增加过度拒绝;所有框架都出现了日期运算相关规则失守的情况。[1]
一项使用两个语言模型评判者和人工盲查的探索性分析发现,26% 的违规伴随着向客户否认刚才所执行操作的消息。作者称,仅审查对话会把这些情况判为正确拒绝。[1]
[1]: https://arxiv.org/abs/2611.06116
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策