Jonguk Cheong、Myungbin Hwang、Eulgyu Kim 和 Byoungyoung Lee 于 2026 年 11 月 4 日向 arXiv 提交 KVGuard 论文,介绍了一种检查大语言模型服务中键值(KV)缓存内存安全的工具。作者称,其在 vLLM 和 SGLang 上实现的原型,覆盖了他们从这两个系统的补丁历史中收集的全部 29 个 KV 缓存安全缺陷。[1]
摘要将问题定位于 PagedAttention:它把通过 CUDA 分配的一片 GPU 内存划分为物理块,再通过 CPU 构建的块表将请求映射到这些块。作者指出,重复释放、释放后使用、越界访问、未初始化读取和权限违规等错误,可能在系统不崩溃的情况下悄然破坏输出或请求隔离。作者认为,现有内存检查工具跟踪的是 CUDA 地址,无法理解缓存块、请求和块表之间的关系。[1]
KVGuard 为每个物理 KV 块维护精简的影子元数据,记录各请求的访问权限以及各条目的初始化状态。其五项检查覆盖 CPU 内存分配、块表构建与转换,以及 GPU 端的块表查询和缓存访问。作者报告称,评估发现了八个此前未知的违规问题,且未出现误报。在 Qwen 2.5 14B 上,vLLM 和 SGLang 的 TPOT 开销几何平均值分别为 3.0% 和 7.4%,内存开销最高为 KV 缓存容量的 0.11%。[1]
[1]: KVGuard: A KV Cache Safety Checker for LLM Serving Systems。arXiv,提交于 2026 年 11 月 4 日。https://arxiv.org/abs/2611.06138
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策