三种主要方法中，没有一种能在核查托管模型的回答时，既做到成本低，又只需信任少数几方。零知识证明用密码学证据表明，回答是由一个事先固定的模型计算出来的，因此不必信任服务商的硬件。但本文考察的系统速度很慢，而且只在较小的模型上演示过。经过远程证明的安全飞地是由硬件隔离的执行环境，会报告自己加载了哪些软件。调优之后，它能以百分之几的开销运行大模型。代价是，依赖它的人必须信任芯片厂商、被度量的软件，以及核查度量值的一方。重新执行就是再运行一次模型，然后比较两次的回答。它的成本远低于生成零知识证明，但它的保证建立在容差、抽样或争议机制之上，也有赖于诚实的核查方。每一类方法回答的问题不同，付出的成本也不同。

待核查的声明：输出由哪个模型生成

可验证推理研究要核查的声明范围很窄：这个输出是用某个特定模型处理这个输入得到的。模型由其权重确定，运行时采用声明的设置，例如数值精度和解码方式[2, 9, 12]。服务商有偏离声明的动机：更小或精度更低的模型服务成本更低，而用户只能看到文本[9, 11]。机密性，即服务商能否读取提示词，是另一项独立的性质。

零知识证明免除了对硬件的信任，但证明成本高昂

零知识机器学习（zkML）系统证明某个输出是用已承诺的权重计算出来的。权重事先由一个密码学指纹固定下来，这个指纹称为承诺，它不会泄露权重。验证方无须看到权重，就能核查证明[1]。2024 年，zkLLM 为 Llama 2 13B 的一次推理生成了证明：输入长 2,048 个词元（token），在一块 NVIDIA A100 GPU 上耗时 803 秒。验证这份 188 kB 的证明约需 4 秒[1]。2026 年的 DeepProve 论文报告了为回答中每个生成词元提供证明的速度：GPT-2 约为每分钟 174 个词元，Gemma 3 约为 86 个，采用分布式证明时最高可达 1,855 个[2]。

这样的证明表明，输出与某个承诺一致。只有当承诺与一个已知模型绑定时，这一点才有意义。在 zkLLM 的设定中，开发者公布一次承诺，之后针对它为每个回答生成证明[1]。

此外，被证明的计算是模型的整数版本。zkLLM 把计算映射到有限域（一种只含有限个数值的数系）中，DeepProve 则默认把权重和激活值（模型计算出的中间值）量化为 12 位[1, 3]。DeepProve 的证明还要求每个词元都是模型得分最高的预测，与贪心解码一样[3]。零知识性质让验证方看不到权重，但服务商仍然能看到提示词[1]。

安全飞地开销可以很小，但信任转移到硬件和度量值上

可信执行环境（TEE）是由硬件隔离的执行环境，设计目标是让宿主机操作系统和虚拟机监控器无法接触其内存。虚拟机监控器是管理虚拟机的软件。机密虚拟机是作为 TEE 运行的虚拟机，可以基于 Intel Trust Domain Extensions（TDX），并搭配处于机密计算模式的 NVIDIA GPU。随后，远程证明会给出启动时所加载软件的度量值，也就是一个由硬件签名的密码学哈希[4]。Confidential.ai 的作者在一篇预印本中做了测试：在 NVIDIA B200 GPU 上，为一个 2290 亿参数的模型提供以生成为主的服务。使用调优后的软件栈时，他们测得吞吐量开销约为 1% 至 3%；换用现成的推理软件栈，吞吐量则下降 30% 至 40%[4]。

安全飞地的设计目标是不让运营方接触提示词和权重，远程证明则是关于加载了哪些软件的证据[4]。两者都不能说明软件正确计算了所宣称的模型，因此信任输出，就意味着信任被度量的推理软件栈。

按照互联网工程任务组（IETF）的远程证明架构，验证方把证据与参考值比对，例如已知良好的度量值[5]。这种比对只覆盖已度量、并且与当前会话绑定的内容。Trail of Bits 在 WhatsApp 基于 TEE 的 AI 处理功能上线前做过审计，发现了这两类缺口。度量之后才加载的配置可能让内部人员运行恶意代码，而远程证明照样通过。此外，证明报告缺少客户端提供的新鲜值，因此任何曾经攻破过一次安全飞地的人都能重放这些报告，把旧报告当作新报告出示。Meta 已修复这两个问题[6]。

审计人员的规则是，每个加载的输入要么经过度量，要么按恶意输入对待[6]。照此规则，启动后才加载的权重，只有经过已度量代码的检查（例如与公开的哈希值比对），才在覆盖范围之内。

物理接触也能让远程证明失效。2026 年 9 月，研究人员披露了 DDRop：这种装置的制作成本不到 200 美元，能悄无声息地丢弃服务器的内存写入。凭借一次短暂的现场接触和对宿主机软件的控制，研究人员让一台恶意的 Intel TDX 虚拟机以合法工作负载的度量值通过了远程证明。Intel 和 AMD 认为，针对服务器内存的物理攻击不在当前产品的防护范围之内[7]。

重新执行须区分 GPU 噪声与作弊，并依赖诚实的核查方

重新执行的核查方式是用同一输入再运行一次模型，然后比较结果，但 GPU 推理往往无法复现。Thinking Machines Lab 用一个 2350 亿参数的 Qwen3 模型，把同一个提示词运行了 1,000 次，温度设为 0；这一设置会去除选择词元时的随机性。这些运行得到了 80 种不同的补全结果。该实验室把差异追溯到 GPU 内核（执行模型运算的程序）的运算顺序。这一顺序随批大小（同时处理的请求数）变化，因而也随服务器负载变化[8]。

TOPLOC 的做法是容忍噪声。服务商对中间激活值的局部敏感哈希作出承诺，这类指纹的设计目的就是吸收微小的数值差异。持有权重的验证者对全部词元做一遍计算即可重算这些哈希，速度比生成更快。在作者的测试中，它识别出了所有改动过的模型、提示词和精度，没有出现误报。但如果服务商用更便宜的模型生成词元，再用所声称的模型计算哈希，TOPLOC 无法察觉。要发现这种情况，需要核查选出每个词元的采样步骤[9]。

Verde 则选择消除噪声。它的 RepOps 库固定了浮点运算的顺序。两家服务商结果不一致时，由仲裁方把争议缩小到单个算子，即计算中的一个步骤，只重算这一步。因此，只要至少有一家服务商诚实，客户端就能得到正确结果。作者报告，在 A100 GPU 上，与 PyTorch 相比，RepOps 在 10 亿参数和 80 亿参数 Llama 模型推理中的开销分别为 58% 和 98%。它目前只覆盖单 GPU 运行。每项任务都要运行两次，成本因此至少翻倍。作者认为这一开销仍不到一个数量级，密码学证明的开销则至少达到四个数量级[10]。

IMMACULATE 采用抽样核查。审计方发送看起来与普通流量无异的请求，然后要求服务商证明：它对这些请求给出的下一词元得分，与所声称的全精度模型的得分相差多少。作者报告的吞吐量开销不到 1%。他们的保证假定审计方诚实，而且服务商无法把审计请求单独挑出来。这一保证还假定服务商至少在 10% 的查询上作弊[11]。因此，它不涵盖偶发的作弊。此外，如果没有人执行核查，本文讨论的每种方案都会失效。

三类方法对比

比较项零知识证明经远程证明的安全飞地重新执行与抽样
核查通过表明在被证明的计算下，输出由已承诺的权重得出真实的硬件启动了与所报告度量值相符的软件重新运行的结果或经审计的样本相符，完全一致或在容差之内
需要信任的对象证明系统的假设；与模型架构相符的被证明计算；与已知模型绑定的承诺芯片厂商；被度量的软件；参考值与验证方；物理安全诚实且确实执行核查的核查方；复现方法或阈值
已报告的成本13B 模型每个证明 803 秒[1]；每分钟 86 至 174 个词元，分布式证明最高 1,855 个[2]调优后吞吐量损失 1% 至 3%，现成软件栈损失 30% 至 40%[4]每次核查对全部词元计算一遍[9]；在 A100 GPU 上相对 PyTorch 的推理开销为 58% 至 98%，外加一次重复运行[10]；采用抽样时开销不到 1%[11]
成熟度研究系统；DeepProve 的代码标注为尚不能用于生产[3]商用硬件[4]；WhatsApp 的 AI 功能，上线前经过审计[6]研究协议；有一个部署据称已上线[12]
典型失效方式承诺未与实际提供服务的模型绑定；被证明的计算与实际运行的计算不同未度量的输入；可重放的报告；能伪造远程证明的物理攻击漏掉细微改动的阈值[9]；未经核查的词元采样；偶发作弊；核查方缺位

组合方案能弥补部分缺口，但保留了各方法的假设

Eigen Labs 称 EigenAI 已于 2026 年 1 月上线。这一系统结合了其中两类方法：重新执行和经过远程证明的安全飞地。运营方执行逐位一致的确定性推理，随机种子作为输入固定下来。结果只要在争议窗口期内无人挑战，即获接受。一旦有人挑战，就由一个验证者委员会在经过远程证明的安全飞地中重新执行。结果不一致时，从运营方质押的资金（即它锁定的抵押品）中扣除罚金。Eigen Labs 报告延迟增加 1.8%。它要求运营方和验证者使用同一型号的 GPU，因为它跨架构测试的结果从未一致。确定性把核查简化为逐字节比对。该公司还称，请求只在验证期间、在安全飞地内部解密[12]。IMMACULATE 的原型同样在 Intel TDX 安全飞地中运行审计计算。这比 GPU 推理慢数百倍，因此原型依靠抽样，让成本保持在可以忽略的水平[11]。

每种组合都保留了各组成部分的假设。EigenAI 仍需要有挑战者在争议窗口期内采取行动。重新执行的请求，其隐私保护不会强于安全飞地硬件本身，面对 DDRop 这类物理攻击时也是如此[7, 12]。

尚待回答的问题

  • 零知识证明能否以可接受的成本，覆盖实际服务所用的模型规模、浮点运算和采样解码。
  • 由谁发布并核查参考值，包括启动后加载的权重和配置的哈希值；远程证明要靠这些参考值才有意义。
  • 服务商应当公开哪些设置（例如权重哈希、精度、解码方式和随机种子），让每种方法都有固定的核查目标。
  • 芯片厂商把物理攻击排除在 TEE 威胁模型（TEE 设计上要抵御的攻击）之外，应当如何评估这类攻击的分量。

来源

  1. zkLLM: Zero Knowledge Proofs for Large Language ModelsarXiv (Sun, Li and Zhang; ACM CCS 2024) · 2024年4月24日
  2. DeepProve: Verifiable End-to-End Large Language Model InferenceIACR Cryptology ePrint Archive (Gailly et al.) · 2026年5月30日
  3. ZKML Inference Proving (DeepProve zkml README)Lagrange Labs on GitHub · 2026年5月1日
  4. Benchmarking Confidential Computing Performance on NVIDIA Blackwell GPUsarXiv (Asad and Grunseid, Confidential.ai) · 2026年8月27日
  5. Remote ATtestation procedureS (RATS) Architecture, RFC 9334IETF · 2023年1月
  6. What we learned about TEE security from auditing WhatsApp's Private InferenceTrail of Bits · 2026年4月7日
  7. DDRop: Active Memory Interposer Attacks on Confidential VMs by Dropping DDR5 WritesKU Leuven, ETH Zurich, Durham University and Google · 2026年9月14日
  8. Defeating Nondeterminism in LLM InferenceThinking Machines Lab · 2025年9月10日
  9. TOPLOC: A Locality Sensitive Hashing Scheme for Trustless Verifiable InferencearXiv (Ong et al.; ICML 2025) · 2025年1月27日
  10. Verde: Verification via Refereed Delegation for Machine Learning ProgramsarXiv (Arun et al.) · 2025年2月26日
  11. IMMACULATE: A Practical LLM Auditing Framework via Verifiable ComputationarXiv (Guo et al.) · 2026年2月26日
  12. Deterministic Inference Is Here: How EigenAI Makes Every AI Output VerifiableEigenCloud (Eigen Labs) · 2026年1月23日

核查或更正本页

更正
提交更正请求 · 在 GitHub 编辑源文件 · 更正政策
验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致，但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算，并列入站点清单。

974782930afcb09de40d9d4a5e2ab91aae30ddc98d54d70ab245327e9d7abcd6

查看源文件 · 清单