Tomer Solberg 于 2026 年 11 月 10 日向 arXiv 提交 Sable,介绍了一套论证系统和单 GPU 数学证明生成器,旨在核验:已通过密码学承诺固定的整数量化 Transformer,是否从给定提示词逐比特地产生了指定的词元序列。这篇预印本面向开放权重模型,并明确说明其数学证明不具备零知识性质。[1]

摘要定义了一个不含浮点运算的整数函数 F_O,其中舍入、归一化、softmax 和采样决策均由输入确定。作者称,其约束关系不会在模 31 位 KoalaBear 素数的运算中发生回绕。该方案将零检查与 LogUp-GKR 查表检查按域合并为一次 sumcheck,对见证张量和权重作出承诺,并在单块 GPU 上逐层处理模型。[1]

作者报告,在一块 NVIDIA RTX PRO 6000 Blackwell GPU 上,为 Qwen2.5-32B 全部 64 层生成数学证明,4,096 个词元耗时 92.5 秒,16,384 个词元耗时 398 秒。摘要称,生成开销为服务推理时间的 41–50 倍;采用编译后的核心实现,在单个 CPU 核心上核验需 19–56 秒。作者还称,在随机预言机模型下,交互式数学证明的逐轮可靠性误差为 2^-103。[1]

逐比特精确性针对的是 F_O。摘要报告,在 WikiText-2 上,F_O 的贪心词元与 BF16 模型在 86.3% 的位置一致。因此,核验指定整数计算的执行,与确认其行为等同于 BF16 推理,是不同的检查目标。[1]

[1]: Sable: A Small-Field Sumcheck Argument for Bit-Exact Inference of Large Language Models,Tomer Solberg,arXiv,2026 年 11 月 10 日。

来源

  1. Sable: A Small-Field Sumcheck Argument for Bit-Exact Inference of Large Language ModelsarXiv · 2026年11月10日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

26c6cdf6528d4da727cb91374a42f906276f3b0cd97b3866103245e8fb55b7a6