主题

可验证推理与计算

用密码学证明和重新执行协议,核查一个输出或一组训练得到的权重是否确实来自所声明的模型与计算。

用户、审计方或协议参与者可以核查一次 API 响应是否来自所宣称的模型、权重和数值精度。这一点之所以重要,是因为服务商可能换用更便宜的模型,或经过量化、以更低精度存储权重的模型。证据可以是对整个计算的零知识证明,也可以是较轻量的检查。较轻量的检查包括抽样审计、对输出的统计检验、只复算争议步骤的仲裁协议,以及激活指纹,即模型中间计算结果的紧凑哈希。这些方案的代价和信任假设各不相同。对大模型来说,完整的零知识证明仍然昂贵。较轻量的方案只提供概率性保证,或者假设至少有一方诚实。需要复算或比对输出的方法,还必须容忍或消除不同硬件和批大小带来的细微数值差异。

报道

  1. 解读

    AI 系统怎样才算可验证?

    验证一个 AI 系统,需要一项精确的声明、开发者以外的人能够核查的证据,以及有能力核查的一方。本文先说明声明出现在哪些层级,再介绍六类证据,以及每类证据仍需信任哪些环节。

    verifiable.pro 研究,自动采编。 涉及可信执行环境。

  2. 分析

    核查 AI 回答的三种方法对比:零知识证明、安全飞地与重新执行

    零知识证明、经过远程证明的安全飞地和重新执行,都能提供证据,说明某个回答由哪个模型生成。没有哪种方法既便宜又只需很少的信任假设,因此选择时应看每种方法能确立什么,又有哪些部分仍要靠信任。

    verifiable.pro 研究,自动采编。 验证栈层级:输出与内容。涉及可信执行环境。

  3. 指南

    核查清单:评估可验证推理声明

    服务商或协议称其模型输出可验证时,可以做这十项检查。每项检查都附有核查表,用来记录证据涵盖了什么、你还需要信任什么。

    verifiable.pro 研究,自动采编。 验证栈层级:输出与内容。

  4. 新闻

    Hollow-LLM 论文称零知识推理证明无法证实运行的是大模型

    南加州大学的研究人员描述了一种做法:服务商用一个小型语言模型提供服务,却能为声明的更大模型生成有效的零知识证明。论文列入了 2026 年 5 月 IEEE Symposium on Security and Privacy 的议程,其结论是:证明有效,并不表示服务商完成了所声明模型的计算。

    来源日期 本站刊发 verifiable.pro 快讯,自动采编。验证栈层级:输出与内容。

  5. 新闻

    Jolt Atlas 预印本将基于查找论证的零知识证明用于模型推理

    ICME Labs 的研究人员于 2026 年 2 月 19 日发布预印本,介绍零知识证明器 Jolt Atlas,它直接在神经网络计算图上工作。预印本报告,在笔记本电脑上为小型语言模型生成证明不到一分钟;如果推理证明要在普通设备上生成,这一量级的成本就很关键。

    来源日期 本站刊发 verifiable.pro 快讯,自动采编。验证栈层级:输出与内容。

  6. 新闻

    Eigen Labs 称 EigenAI 已上线,采用确定性推理和 TEE 复算

    Eigen Labs 在 2026 年 1 月 23 日的一篇文章中称,EigenAI 已在主网上线,其大语言模型输出可以接受挑战,并能逐字节重新执行。这一方案依赖型号相同的 GPU、可信硬件,以及按质押计至少三分之二的验证者诚实行事。

    来源日期 本站刊发 verifiable.pro 快讯,自动采编。验证栈层级:输出与内容。涉及可信执行环境。

  • A Survey of Zero-Knowledge Proof Based Verifiable Machine Learning

    Zhizhi Peng et al. · 2025 · 论文 链接核查于 2026年10月20日

    简介

    综述 2017 年 6 月至 2025 年 8 月的零知识机器学习(zkML)研究。zkML 借助零知识证明,让他人无需看到模型权重等秘密信息即可核查机器学习计算。综述把这些研究分为可验证训练、测试和推理三类,并分析生成零知识证明的开销等瓶颈。

  • SafetyNets: Verifiable Execution of Deep Neural Networks on an Untrusted Cloud

    Zahra Ghodsi, Tianyu Gu, Siddharth Garg · 2017 · 论文 链接核查于 2026年10月20日

    简介

    一种交互式证明协议,可让客户端核查不可信的云端是否正确执行了神经网络推理。它适用于可表示为算术电路(只由加法和乘法构成)的网络。

  • Scaling up Trustless DNN Inference with Zero-Knowledge Proofs

    Daniel Kang et al. · 2022 · 论文 链接核查于 2026年10月20日

    简介

    为 ImageNet 规模的模型构造 zk-SNARK,用来证明推理正确执行。zk-SNARK 是一种简短、验证迅速的零知识证明。论文还设计了协议,用这类证明核查机器学习服务的预测结果和准确率。

  • zkLLM: Zero Knowledge Proofs for Large Language Models

    Haochen Sun, Jason Li, Hongyang Zhang · 2024 · 论文 链接核查于 2026年10月20日

    简介

    面向大语言模型的零知识证明系统。它用查找论证(对照预先算好的表格检查数值)处理非算术运算,并为注意力机制设计了专门的证明。作者报告,130 亿参数模型的推理证明可在 15 分钟内完成。

  • DeepProve: Verifiable End-to-End Large Language Model Inference

    Nicolas Gailly et al. · 2026 · 论文 链接核查于 2026年10月20日

    简介

    以 sum-check 协议和查找论证为基础的零知识系统,可证明一个提示词生成的全部词元。在 GPT-2 上,它每分钟约能证明 174 个词元;在 Gemma 3 上约为 86 个。

  • EZKL

    Zkonduit · 2022 · 工具 链接核查于 2026年10月20日

    简介

    一个库和命令行工具,可把导出为 ONNX 格式的模型及其他计算图转换成 zk-SNARK 电路。借助这些电路,可以证明并验证模型的推理过程。EZKL 可通过 Python、JavaScript 或命令行使用。

  • TOPLOC: A Locality Sensitive Hashing Scheme for Trustless Verifiable Inference

    Jack Min Ong et al. · 2025 · 论文 链接核查于 2026年10月20日

    简介

    推理服务方对中间激活值(模型内部计算出的数值)的局部敏感哈希作出承诺。激活值相近时,这类哈希也相近。验证方由此可以发现模型、提示词或数值精度的改动,同时容忍不同 GPU 型号之间的差异。

  • Verde: Verification via Refereed Delegation for Machine Learning Programs

    Arasu Arun et al. · 2025 · 论文 链接核查于 2026年10月20日

    简介

    面向机器学习训练和推理的仲裁式委托协议。当计算服务商的结果不一致时,仲裁方会把争议缩小到单个算子。协议配套提供算子库 RepOps,其算子每次重新运行都得到逐位相同的结果。

  • Model Equality Testing: Which Model Is This API Serving?

    Irena Gao, Percy Liang, Carlos Guestrin · 2024 · 论文 链接核查于 2026年10月20日

    简介

    把识别 API 背后的模型是否经过量化(降低数值精度)、加水印或微调视为双样本检验问题。双样本检验判断两组输出是否来自同一分布。论文报告,在测试的 31 个端点中,有 11 个的输出分布与 Meta 发布的参考权重不同。

    可验证评测与审计

  • IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation

    Yanpei Guo et al. · 2026 · 论文 链接核查于 2026年10月20日

    简介

    一种审计框架,用可验证计算抽查一小部分 API 请求:服务商需同时返回证据,供他人核查结果是否正确。框架不依赖可信硬件,用于发现模型替换、滥用量化和多计词元费用等行为。

    可验证评测与审计

  • Proof-of-Learning: Definitions and Practice

    Hengrui Jia et al. · 2021 · 论文 链接核查于 2026年10月20日

    简介

    提出学习证明:由训练检查点(训练中保存的权重)和训练元数据组成的记录。验证方借此可以核查,某一方确实执行了产生某组权重的训练。

  • Optimistic Verifiable Training by Controlling Hardware Nondeterminism

    Megha Srivastava, Simran Arora, Dan Boneh · 2024 · 论文 链接核查于 2026年10月20日

    简介

    通过更高精度的训练和共享舍入决策,控制不同 GPU 型号之间的非确定性,即计算结果上的细微数值差异。审计方因此能够精确复现训练过程,并对训练方的结果提出质疑。

  • Defeating Nondeterminism in LLM Inference

    Horace He, Thinking Machines Lab · 2025 · 报告 链接核查于 2026年10月20日

    简介

    文章指出,大模型推理服务对相同输入返回不同输出,主要原因是算子缺乏批次不变性,而服务器负载又在不断变化。缺乏批次不变性时,一个请求的结果会随同批处理的其他请求数量而变。文章展示了批次不变的算子,它们使温度为 0 时的 1000 次补全完全一致。

  • Pinocchio: Nearly Practical Verifiable Computation

    Bryan Parno et al. · 2013 · 论文 链接核查于 2026年10月20日

    简介

    一种可验证计算系统,可将 C 语言子集编译为一套协议。执行方返回一个 288 字节的正确执行证明。任何持有公开验证密钥的人都能检查这一证明,通常约需 10 毫秒。系统还可选用零知识版本,额外开销很小。

  • zkCNN: Zero Knowledge Proofs for Convolutional Neural Network Predictions and Accuracy

    Tianyi Liu, Xiang Xie, Yupeng Zhang · 2021 · 论文 链接核查于 2026年10月20日

    简介

    一种零知识证明方案,以针对卷积的新 sum-check 协议为基础。模型所有者可以用它证明,卷积神经网络的某个预测结果来自一个保密模型,同时不泄露模型本身。该方案也能证明模型在公开数据集上的准确率。在 VGG16 上,生成证明耗时 88.3 秒,验证耗时 59.3 毫秒。

    可验证评测与审计

  • Proofs, Arguments, and Zero-Knowledge

    Justin Thaler · 2022 · 课程 链接核查于 2026年10月20日

    简介

    免费的教材草稿,讲解交互式证明、论证系统和零知识证明。内容包括 sum-check 协议、Fiat-Shamir 变换、多项式承诺,以及基于多项式交互式预言证明(IOP)构造的 SNARK。书中附有配套视频讲座的链接。

  • Proof-of-Learning is Currently More Broken Than You Think

    Congyu Fang et al. · 2022 · 论文 链接核查于 2026年10月20日

    简介

    提出针对学习证明(proof-of-learning)的伪造攻击:攻击者并未训练某组权重,却能为其伪造训练记录。这些攻击可在不同验证配置下复现,成本仅为以往攻击的一小部分。作者认为,要构建可证明稳健的学习证明验证机制,必须更深入地理解深度学习中的优化过程。

  • Experimenting with Zero-Knowledge Proofs of Training

    Sanjam Garg et al. · 2023 · 论文 链接核查于 2026年10月20日

    简介

    提出零知识训练证明(zkPoT)的概念:模型所有者可以证明模型按照约定规范完成训练,同时不泄露数据和模型。作者结合 MPC-in-the-head 与 zk-SNARK,为逻辑回归实现了相应协议,并在 4 GB 的数据集上测试了性能。

  • SVIP: Towards Verifiable Inference of Open-source Large Language Models

    Yifan Sun et al. · 2024 · 论文 链接核查于 2026年10月20日

    简介

    一种协议,用于核查去中心化算力提供方是否运行了用户指定的开源大模型。提供方在返回生成文本的同时,返回隐藏层表示,即模型内部的数值。用户借助训练好的代理任务和秘密机制核验这些表示。论文报告的假阴性率低于 5%,假阳性率低于 3%。

  • opML: Optimistic Machine Learning on Blockchain

    KD Conway et al. · 2024 · 论文 链接核查于 2026年10月20日

    简介

    一种在区块链上执行机器学习推理的乐观(optimistic)方案。它不用零知识证明,而是依靠类似 Optimistic Rollup 的交互式欺诈证明协议。结果默认有效,除非有人提出质疑。作者称,可在不配备 GPU 的普通 PC 上运行 70 亿参数的 LLaMA 模型。

  • K2 Vendor Verifier

    Moonshot AI · 2025 · 工具 链接核查于 2026年10月20日

    简介

    Moonshot AI 推出的工具:向提供 Kimi K2 模型服务的第三方厂商发送 4000 个工具调用请求。它衡量这些厂商是否调用工具的决策与 Moonshot 官方 API 的一致程度。它还衡量厂商返回的工具调用 JSON 通过模式校验(即格式检查)的比例。这项测试现已成为范围更广的 Kimi Vendor Verifier 中的一项基准。

  • Verifiable evaluations of machine learning models using zkSNARKs

    Tobin South et al. · 2024 · 论文 链接核查于 2026年10月20日

    简介

    把模型在数据集上输出结果的 zk-SNARK 证明打包成评测证明文件。每份文件表明,权重固定且保密的模型达到了所声明的性能或公平性指标。

    可验证评测与审计

  • Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs

    Will Cai et al. · 2025 · 论文 链接核查于 2026年10月20日

    简介

    研究发现,仅靠软件无法可靠地检测大模型 API 中的暗中模型替换。模型替换指服务商暗中使用与其宣传不同的模型。论文还评估了以可信执行环境(TEE)保证模型完整性的方案。

    可验证评测与审计

  • Independence Tests for Language Models

    Sally Zhu et al. · 2025 · 论文 链接核查于 2026年10月20日

    简介

    一组统计检验:给定两个语言模型的权重,判断它们是否由相互独立的随机初始化(初始权重)训练而来。其中基于隐藏层激活匹配的检验能抵御对抗性修改,并能定位从其他模型派生出的组件。例如,它揭示了 Llama 3.2-3B 如何由 Llama 3.1-8B 剪枝初始化而来。

    模型与数据供应链