NVIDIA 于 2026 年 11 月 10 日在技术博客中介绍了 Snapshot。这一开源组件为 Kubernetes 上的 GPU 工作负载提供检查点与恢复功能。公司报告称,在所测配置中,已完成初始化的推理副本可在 3.6 至 42.7 秒内恢复,启动速度为冷启动的 8 至 36 倍。[1]

Snapshot 在工作负载初始化完成后保存 CPU 和 GPU 内存状态。NVIDIA 称,新 Pod 可在 GPU 型号和驱动相同的节点上从该制品恢复,跳过权重加载、编译和 CUDA 图捕获。符合条件的工作负载可跨越单个节点内的多块 GPU。工作负载还须实现一个简单的暂停与恢复握手机制,并满足检查点、恢复及运行时兼容要求。[1]

公布的基准测试使用 NVIDIA B200 GPU、615.71.09 驱动和 VAST NFS 存储,推理引擎为 vLLM 0.31.0、SGLang 0.5.21 和 TensorRT LLM 1.3.0。冷启动计时从进程启动开始,到引擎初始化返回结束,此时尚未开始推理;恢复计时则从发出恢复请求开始,到重新提供服务结束。基础设施配置和容器镜像加载不在恢复计时范围内。NVIDIA 还表示,每次创建检查点前都会释放键值缓存,因此制品不包含该缓存。[1]

[1]: NVIDIA,《Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot》,2026 年 11 月 10 日。https://developer.nvidia.com/blog/start-and-restore-gpu-workloads-in-seconds-with-nvidia-snapshot

来源

  1. Start and Restore GPU Workloads in Seconds with NVIDIA Snapshotdeveloper.nvidia.com · 2026年11月10日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

ca6f356d1535412239a3a4486c5be941e6985efeaaa8fd05d554220678d7ca27