Jonguk Cheong、Myungbin Hwang、Eulgyu Kim 和 Byoungyoung Lee 于 2026 年 11 月 4 日向 arXiv 提交 KVGuard 论文,介绍了一种检查大语言模型服务中键值(KV)缓存内存安全的工具。作者称,其在 vLLM 和 SGLang 上实现的原型,覆盖了他们从这两个系统的补丁历史中收集的全部 29 个 KV 缓存安全缺陷。[1]

摘要将问题定位于 PagedAttention:它把通过 CUDA 分配的一片 GPU 内存划分为物理块,再通过 CPU 构建的块表将请求映射到这些块。作者指出,重复释放、释放后使用、越界访问、未初始化读取和权限违规等错误,可能在系统不崩溃的情况下悄然破坏输出或请求隔离。作者认为,现有内存检查工具跟踪的是 CUDA 地址,无法理解缓存块、请求和块表之间的关系。[1]

KVGuard 为每个物理 KV 块维护精简的影子元数据,记录各请求的访问权限以及各条目的初始化状态。其五项检查覆盖 CPU 内存分配、块表构建与转换,以及 GPU 端的块表查询和缓存访问。作者报告称,评估发现了八个此前未知的违规问题,且未出现误报。在 Qwen 2.5 14B 上,vLLM 和 SGLang 的 TPOT 开销几何平均值分别为 3.0% 和 7.4%,内存开销最高为 KV 缓存容量的 0.11%。[1]

[1]: KVGuard: A KV Cache Safety Checker for LLM Serving Systems。arXiv,提交于 2026 年 11 月 4 日。https://arxiv.org/abs/2611.06138

来源

  1. KVGuard: A KV Cache Safety Checker for LLM Serving SystemsarXiv · 2026年11月4日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

9a536ee6e81720324245b9aadada9ddd6b04bd3924a488f630667a6eeddaa801