2026 年 10 月 19 日，石溪大学和马里兰大学的研究人员在 arXiv 上发布论文，介绍了 SumMark。这种方法用于审计托管的大语言模型（LLM）服务实际使用了哪个模型。它针对的是模型替换：服务商声称使用某个模型，实际却用另一个通常更便宜的模型提供服务。[1]该论文被列为 2026 年神经信息处理系统大会（NeurIPS）的海报论文。[3]

SumMark 检查的是服务随每个回答返回的推理摘要。部署之前，可信的审计方用秘密密钥为每个登记的模型选出一组词元（token，即文本片段），并训练一个小型附加模块，即适配器，让该模型的摘要更多地使用这些词元。这种依赖密钥的统计信号就是数字水印。论文假定，服务商在生成每份摘要时会调用所声明模型的适配器，但无法提取密钥或适配器权重。审计方随后用密钥检验服务返回的摘要，在此过程中看不到模型内部状态、日志或路由信息。[1]

主要实验使用了四个公开模型：Qwen2.5 的 15 亿、30 亿和 70 亿参数版本，以及 Llama-3.2-3B。在真实摘要的误判率为 1% 时，这项检验在数学任务上平均识别出 99.94% 的替换摘要，在通用推理任务上为 97.5%，在代码任务上为 100%。三种现有的文本水印方案（包括 Google 的 SynthID）在数学任务上的识别率最高为 47.3%。[1]作者已公开代码，其 README 称这些代码可以复现上述实验。[1, 2]

在数学任务的稳健性测试中，若用所声明模型的带水印摘要训练一个仿冒适配器，替换模型最多有 62.9% 的摘要会被接受；幅度较大的改写则把最差情况下的识别率降到 57.4%。这项检查能可靠地识别其中三个模型的低精度版本，但对于 Qwen2.5-1.5B 的 8 位整数（INT8）版本，它在数学任务上的识别率为 11.3%。在另一项数学任务测试中，登记的模型从 4 个增至 6 到 12 个时，平均识别率降至 74.6% 到 81.9% 之间。这种方法需要服务商参与；作者把它定位在只能查询服务的审计与完整的运行时远程证明之间。[1]

来源

  1. Auditor-Assisted Summary-Channel Verification for Hosted LLM Identity SubstitutionarXiv (Ziyi Zhang, Ziyao Wang, Guoheng Sun, Ang Li and Jian Li) · 2026年10月19日
  2. SumMark (trinitr0toluene/Summark README)GitHub · 访问于 2026年10月25日
  3. Auditor-Assisted Summary-Channel Verification for Hosted LLM Identity Substitution (NeurIPS 2026 poster page)NeurIPS · 访问于 2026年10月25日

核查或更正本页

更正
提交更正请求 · 在 GitHub 编辑源文件 · 更正政策
验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致，但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算，并列入站点清单。

d09f58698c2b103dbd02827cf9f0cec40f6fdd1776d9cba8bd4943a10997b008

查看源文件 · 清单