2026 年 11 月 10 日,加州大学圣迭戈分校的 Hao AI Lab 介绍了 vstack 和 veriserve:前者是面向编程智能体的五阶段验证流程,后者是一个大语言模型服务引擎原型。研究团队称,利用该流程检查 SGLang 和 vLLM 时发现了三类并发问题,并提出了上游修复。[1]

研究针对将提示词处理与生成拆分、并通过远程直接内存访问(RDMA)在两者之间传输键值(KV)缓存页面的服务系统。作者称,他们复现了页面或传输标识在先前传输停止之前被重新使用的竞态。迟到的传输可能读取或覆盖另一请求的缓存,而服务器仍返回 HTTP 200。他们还报告,受污染的页面进入了共享前缀缓存,传输停滞则导致请求持续等待。[1]

Vstack 固定形式化规范,将模型状态转换映射到代码,对照有缺陷和修复后的行为检查模型与代码是否一致,并使用模型检查和定理证明。Veriserve 中名为 PdLedger 的设计跟踪页面代次,将等待传输停止证据的页面与缺少该证据时隔离的页面分开。作者称,他们在明确假设下完成了抽象设计的 TLAPS 安全性数学证明;六组配对运行中,每个输出 token 的中位耗时平均增加 0.18%。这些是作者报告的结果;该数学证明不能说明 Python 实现、GPU 内核或 RDMA 组件没有缺陷。[1]

来源

  1. Towards Verifiable LLM Infrahaoailab.com · 2026年11月10日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

95f84469957c5eda0190c9c1b2ad8b2c463e15a42a678767c9a17c3b2086352b