---
title: 论文称审计方可借助带水印的推理摘要检测模型替换
dek: 石溪大学和马里兰大学的研究人员介绍了 SumMark 方法：服务商运行审计方提供的适配器来生成展示给用户的推理摘要，审计方由此可以用秘密密钥检验某个请求由哪个模型处理。在四个公开模型上的测试中，这项检查识别出了大多数替换，但伪造的水印和幅度较大的改写有时能绕过它，一个模型的低精度版本则多数时候都能绕过。
---

2026 年 10 月 19 日，石溪大学和马里兰大学的研究人员在 arXiv 上发布论文，介绍了 SumMark。这种方法用于审计托管的大语言模型（LLM）服务实际使用了哪个模型。它针对的是[模型替换](/glossary/#model-substitution)：服务商声称使用某个模型，实际却用另一个通常更便宜的模型提供服务。[^1]该论文被列为 2026 年神经信息处理系统大会（NeurIPS）的海报论文。[^3]

SumMark 检查的是服务随每个回答返回的推理摘要。部署之前，可信的审计方用秘密密钥为每个登记的模型选出一组词元（token，即文本片段），并训练一个小型附加模块，即适配器，让该模型的摘要更多地使用这些词元。这种依赖密钥的统计信号就是[数字水印](/glossary/#watermark)。论文假定，服务商在生成每份摘要时会调用所声明模型的适配器，但无法提取密钥或适配器权重。审计方随后用密钥检验服务返回的摘要，在此过程中看不到模型内部状态、日志或路由信息。[^1]

主要实验使用了四个公开模型：Qwen2.5 的 15 亿、30 亿和 70 亿参数版本，以及 Llama-3.2-3B。在真实摘要的误判率为 1% 时，这项检验在数学任务上平均识别出 99.94% 的替换摘要，在通用推理任务上为 97.5%，在代码任务上为 100%。三种现有的文本水印方案（包括 Google 的 SynthID）在数学任务上的识别率最高为 47.3%。[^1]作者已公开代码，其 README 称这些代码可以复现上述实验。[^1, 2]

在数学任务的稳健性测试中，若用所声明模型的带水印摘要训练一个仿冒适配器，替换模型最多有 62.9% 的摘要会被接受；幅度较大的改写则把最差情况下的识别率降到 57.4%。这项检查能可靠地识别其中三个模型的低精度版本，但对于 Qwen2.5-1.5B 的 8 位整数（INT8）版本，它在数学任务上的识别率为 11.3%。在另一项数学任务测试中，登记的模型从 4 个增至 6 到 12 个时，平均识别率降至 74.6% 到 81.9% 之间。这种方法需要服务商参与；作者把它定位在只能查询服务的审计与[完整的运行时远程证明](/glossary/#remote-attestation)之间。[^1]

:::analysis
SumMark 能让服务商之外的审计方仅凭服务返回的摘要检验模型身份；用户则做不到，因为只有审计方持有密钥。用户必须信任这家审计方，以及其密钥和适配器的保密性。如果回答由另一条流水线生成，这项检查无法确定回答出自哪个模型。基于公开模型的测试不能说明它在专有的推理服务系统上会有怎样的表现。
:::

:::checked
我们于 2026 年 10 月 25 日阅读了该论文的 arXiv 页面和全文（第 1 版）、代码仓库的 README，以及它在 NeurIPS 2026 网站上的海报页面。我们没有运行代码，也没有测试任何服务。
:::