Detent 作者于 2026 年 11 月 7 日提交预印本,提出一种让大语言模型(LLM)服务保持批次不变性的方法:无论同一批次中还有哪些请求,一个请求的输出都应逐比特一致。摘要称,该方法的性能接近引擎默认设置,可用于可复现评估、可验证推理和强化学习(RL)。[1]

作者指出,即使各个计算内核本身具有批次不变性,内核选择仍可能引入差异。引擎会依据批次信息选择内核及其参数,而数学上等价的求和计算可能产生不同的舍入结果。Detent 将内核选择表示为程序,找出必须固定的最小一组数值,并在部署前针对工作负载调优这些数值。[1]

摘要报告,在 vLLM 和 SGLang 中,使用 Llama-3.1-70B 和 Qwen3-30B-A3B 的多 GPU 部署实现了批次不变性。按负载调优后,每个输出 token 的延迟为 Stock 的 1.04–1.17 倍;Stock 指各引擎的默认设置,而确定性模式的对应延迟为 1.67–10.3 倍。摘要还称,固定随机种子的 RL 轨迹在更换批次和缓存划分后可逐比特重放;训练端与轨迹生成端的对数概率也逐比特一致,轨迹生成的每 token 耗时为 Stock 的 1.03 倍。以上均为作者报告的结果。[1]

[1]: https://arxiv.org/abs/2611.10611

来源

  1. Detent: Batch-Invariant LLM Serving and RL Rollouts at Near-Stock SpeedarXiv · 2026年11月7日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

a284c732a7df97190ec70175e749bb6c90b525a237548db1161c16169b629311