Detent 作者于 2026 年 11 月 7 日提交预印本,提出一种让大语言模型(LLM)服务保持批次不变性的方法:无论同一批次中还有哪些请求,一个请求的输出都应逐比特一致。摘要称,该方法的性能接近引擎默认设置,可用于可复现评估、可验证推理和强化学习(RL)。[1]
作者指出,即使各个计算内核本身具有批次不变性,内核选择仍可能引入差异。引擎会依据批次信息选择内核及其参数,而数学上等价的求和计算可能产生不同的舍入结果。Detent 将内核选择表示为程序,找出必须固定的最小一组数值,并在部署前针对工作负载调优这些数值。[1]
摘要报告,在 vLLM 和 SGLang 中,使用 Llama-3.1-70B 和 Qwen3-30B-A3B 的多 GPU 部署实现了批次不变性。按负载调优后,每个输出 token 的延迟为 Stock 的 1.04–1.17 倍;Stock 指各引擎的默认设置,而确定性模式的对应延迟为 1.67–10.3 倍。摘要还称,固定随机种子的 RL 轨迹在更换批次和缓存划分后可逐比特重放;训练端与轨迹生成端的对数概率也逐比特一致,轨迹生成的每 token 耗时为 Stock 的 1.03 倍。以上均为作者报告的结果。[1]
[1]: https://arxiv.org/abs/2611.10611
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策