Youwei Bao、Chengpeng Wang 和 Simin Chen 于 2026 年 10 月 27 日提交预印本,提出为智能体生成的 GPU 内核加入批次不变性检查。作者称,在 83 个适用于批处理的已发布产物中,确认了 19 个违反批次不变性的案例。这些是所保存 arXiv 摘要报告的研究结果,我们未独立复现。[1]
大语言模型(LLM)服务会动态合并用户请求,交由 GPU 批量执行。批次不变性是指:即使同批处理的其他请求发生变化,输入不变的请求仍得到相同的数值输出。摘要指出,缺少这一性质的内核可能让相同请求产生不同的数值结果,影响可复现性。[1]
作者提出的插件结合了契约引导的静态依赖分析,以及跨批次上下文的逐比特一致性动态检查。它在优化循环中设置连续的验收关卡,在性能基准测试之前拒绝结构上存在风险、或动态检查不满足不变性的候选内核,并向生成智能体反馈。所保存的摘要将组件名称显示为未解析的 \tool 命令。[1]
作者称,在三个智能体框架上的实验中,批次不变性通过率从 67.6% 提高到 91.9%,同时保留了基线几何平均加速比的 91.8%。这一通过率仍包含失败案例;摘要既未确立普遍的批次不变性,也未指出运营方应安装哪个已修复的生产版本。[1]
[1]: https://arxiv.org/abs/2610.36623
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策