Guofu Liao 等六位作者于 2026 年 11 月 11 日向 arXiv 提交了 VRMaaS: Verifiable Reward-Model-as-a-Service for Trustworthy LLM Alignment。论文提出,让每个返回的奖励分数都附带数学证明,以核查经过计算验证的结果是否对应预期的服务请求。[1]
作者指出,单凭推理计算的数学证明,无法确认其对应的请求、模型检查点、数值配置和验证器是否符合预期。在作者报告的受控比较中,一种封装后可供链上检查的通用推理数学证明,在六类服务字段被替换后仍然有效。这是作者报告的实验结果,保存的来源没有提供摘要之外的实验细节。[1]
VRMaaS 的链下接受规则绑定请求身份、已承诺的权重、验证器与配置标识、数学证明任务的顺序,以及导出包的摘要值。框架组合算术任务和基于查表的数学证明任务,并将隐藏操作数关联到已承诺的权重。摘要称,审计者无需重新运行私有奖励模型,也无需公开输入、检查点或隐藏激活值,即可检查留存的奖励记录。可选的链上零知识封装只对选定的一致性检查和所提供的服务字段作出部分核验。[1]
作者报告,在使用 1B、3B 和 8B 奖励模型、输入长度为 128–1024 个词元的 GPU 原型中,与基线模型的成对比较一致率为 93.5–99%,完整产物拒绝了所有受测的服务字段替换。报告的产物生成耗时为 49.8–206.1 秒,验证耗时为 1.94–5.11 秒。作者认为,这些开销适合延后进行的审计、结算和治理工作。[1]
[1]: VRMaaS: Verifiable Reward-Model-as-a-Service for Trustworthy LLM Alignment,arXiv,2026 年 11 月 11 日。
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策