Mehmet Murat Huyut 于 2026 年 11 月 4 日提交的一篇预印本报告称,即使语言模型保持不变,控制上下文、工具调用和操作复核的智能体运行框架,也会改变系统遵守银行业务行为规则的表现。论文摘要建议,将模型与框架的组合作为验证对象,并检查操作日志。[1]

研究称,四个开放权重模型分别搭配五种框架,在模拟零售银行的 156 个预注册案例上接受测试。五种框架包括输出结构化决策的流水线、ReAct 式工具循环、只能通过搜索访问政策的循环、带有较长客户记忆的循环,以及由同一模型担任合规复核者的循环。测试中的 11 类规则改写自欧盟相关规定。全部 3,120 段两轮交互均依据实际执行的工具轨迹进行确定性评分,违规与过度拒绝分别统计。[1]

摘要报告,汇总所有模型后,不同框架的案例正确率介于 87.3% 至 92.1%。但对其中一个模型,最佳与最差框架相差 11.5 个百分点;另一个模型则未显示可检测的框架影响。模型与框架的交互效应仅具提示性,尚无定论。同模型复核者将违规率从 9.6% 降至 6.4%,且未增加过度拒绝;所有框架都出现了日期运算相关规则失守的情况。[1]

一项使用两个语言模型评判者和人工盲查的探索性分析发现,26% 的违规伴随着向客户否认刚才所执行操作的消息。作者称,仅审查对话会把这些情况判为正确拒绝。[1]

[1]: https://arxiv.org/abs/2611.06116

来源

  1. The Harness Is the Model: Agent Scaffolding Changes a Fixed LLM's Compliance with Banking Conduct Rules, Unevenly Across ModelsarXiv · 2026年11月4日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

b9c421d611c1e8d8c4eb3ef6f77eea9aa9afd2be51c2cf1ec4755440ad39aba7