Akshat Valse 和 Ali Jannesari 于 2026 年 11 月 6 日向 arXiv 提交了 Inside the Trap: A Renewal Law for Prefix-Cache Collapse in LLM Agent Serving。作者报告称,一次突发请求可能使引擎无法在智能体的后续轮次中复用已缓存的键值(KV)状态。即使负载仍处于引擎此前能够处理的水平,积压也可能持续无法消退。[1]

摘要介绍了覆盖两种引擎、两款 GPU 和两个模型的预注册配对测试。一次涉及 200 个会话的突发请求,使全部 30 次运行直到结束都没有缓存命中;对应的无突发请求运行均保持良好状态,而设置会话数量上限的 30 次运行均未陷入这一状态。作者还称,在另一组预注册恢复测试中,会话数量上限让九次已陷入困境的运行全部恢复,负载保持不变,也没有丢弃会话。[1]

论文的数学结果针对一种理想化的流体先进先出服务模型,其中每一轮都无法命中缓存。在该模型中,只有到达负载低于全部请求均未命中缓存时的处理能力,积压才会消退。摘要还指出,陷入困境的服务会优先处理较新、较短的轮次,因此测得的完成吞吐量可能高估恢复阈值。作者明确表示,他们并未给出实际引擎会收敛到该模型的数学证明。[1]

[1]: Inside the Trap: A Renewal Law for Prefix-Cache Collapse in LLM Agent Serving,arXiv,2026 年 11 月 6 日。

来源

  1. Inside the Trap: A Renewal Law for Prefix-Cache Collapse in LLM Agent ServingarXiv · 2026年11月6日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

53113713ddf2c75f24b771b64e84d09a6a8c41bac846f7a7f06600bfdd03f9f9