---
title: "Detent 作者称可在接近默认速度下实现批次不变的 LLM 服务"
dek: "这篇预印本针对随批次变化的内核选择，报告称其能以低于引擎确定性模式的开销实现输出复现。我们仅阅读了保存的 arXiv 摘要页。"
---

Detent 作者于 2026 年 11 月 7 日提交预印本，提出一种让大语言模型（LLM）服务保持批次不变性的方法：无论同一批次中还有哪些请求，一个请求的输出都应逐比特一致。摘要称，该方法的性能接近引擎默认设置，可用于可复现评估、可验证推理和强化学习（RL）。[^1]

作者指出，即使各个计算内核本身具有批次不变性，内核选择仍可能引入差异。引擎会依据批次信息选择内核及其参数，而数学上等价的求和计算可能产生不同的舍入结果。Detent 将内核选择表示为程序，找出必须固定的最小一组数值，并在部署前针对工作负载调优这些数值。[^1]

摘要报告，在 vLLM 和 SGLang 中，使用 Llama-3.1-70B 和 Qwen3-30B-A3B 的多 GPU 部署实现了批次不变性。按负载调优后，每个输出 token 的延迟为 Stock 的 1.04–1.17 倍；Stock 指各引擎的默认设置，而确定性模式的对应延迟为 1.67–10.3 倍。摘要还称，固定随机种子的 RL 轨迹在更换批次和缓存划分后可逐比特重放；训练端与轨迹生成端的对数概率也逐比特一致，轨迹生成的每 token 耗时为 Stock 的 1.03 倍。以上均为作者报告的结果。[^1]

:::analysis
这项主张位于 T6（评估层，evaluations）和 T2（运行时层，runtime）：运行时选择会影响评估和重放能否逐比特复现，因此用户仍需依赖实际部署配置与测试条件相符。这里涉及的可核查属性是可识别性：如果服务某位用户的确切版本和配置有记录且可查，该用户就能判断自己是否遇到了这里讨论的批次相关行为。用户和运营者应核对引擎、模型、部署设置及固定的内核选择数值，再检查改变批次和缓存后的重放结果；摘要没有推荐任何修复版本。可复现性本身并不说明答案正确。[^1]
:::

:::checked
我们于 2026 年 11 月 14 日阅读了所提供的 arXiv 摘要页存档，题为《Detent: Batch-Invariant LLM Serving and RL Rollouts at Near-Stock Speed》，版本为 arXiv:2611.10611v1。这次阅读确认了摘要所作的主张及提交日期。我们没有阅读全文或代码，没有测试系统，也没有独立确认其性能和可复现性结果。[^1]
:::

[^1]: https://arxiv.org/abs/2611.10611
