2026 年 11 月 10 日,加州大学圣迭戈分校的 Hao AI Lab 介绍了 vstack 和 veriserve:前者是面向编程智能体的五阶段验证流程,后者是一个大语言模型服务引擎原型。研究团队称,利用该流程检查 SGLang 和 vLLM 时发现了三类并发问题,并提出了上游修复。[1]
研究针对将提示词处理与生成拆分、并通过远程直接内存访问(RDMA)在两者之间传输键值(KV)缓存页面的服务系统。作者称,他们复现了页面或传输标识在先前传输停止之前被重新使用的竞态。迟到的传输可能读取或覆盖另一请求的缓存,而服务器仍返回 HTTP 200。他们还报告,受污染的页面进入了共享前缀缓存,传输停滞则导致请求持续等待。[1]
Vstack 固定形式化规范,将模型状态转换映射到代码,对照有缺陷和修复后的行为检查模型与代码是否一致,并使用模型检查和定理证明。Veriserve 中名为 PdLedger 的设计跟踪页面代次,将等待传输停止证据的页面与缺少该证据时隔离的页面分开。作者称,他们在明确假设下完成了抽象设计的 TLAPS 安全性数学证明;六组配对运行中,每个输出 token 的中位耗时平均增加 0.18%。这些是作者报告的结果;该数学证明不能说明 Python 实现、GPU 内核或 RDMA 组件没有缺陷。[1]
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策