NVIDIA 于 2026 年 11 月 10 日在技术博客中介绍了 Snapshot。这一开源组件为 Kubernetes 上的 GPU 工作负载提供检查点与恢复功能。公司报告称,在所测配置中,已完成初始化的推理副本可在 3.6 至 42.7 秒内恢复,启动速度为冷启动的 8 至 36 倍。[1]
Snapshot 在工作负载初始化完成后保存 CPU 和 GPU 内存状态。NVIDIA 称,新 Pod 可在 GPU 型号和驱动相同的节点上从该制品恢复,跳过权重加载、编译和 CUDA 图捕获。符合条件的工作负载可跨越单个节点内的多块 GPU。工作负载还须实现一个简单的暂停与恢复握手机制,并满足检查点、恢复及运行时兼容要求。[1]
公布的基准测试使用 NVIDIA B200 GPU、615.71.09 驱动和 VAST NFS 存储,推理引擎为 vLLM 0.31.0、SGLang 0.5.21 和 TensorRT LLM 1.3.0。冷启动计时从进程启动开始,到引擎初始化返回结束,此时尚未开始推理;恢复计时则从发出恢复请求开始,到重新提供服务结束。基础设施配置和容器镜像加载不在恢复计时范围内。NVIDIA 还表示,每次创建检查点前都会释放键值缓存,因此制品不包含该缓存。[1]
[1]: NVIDIA,《Start and Restore GPU Workloads in Seconds with NVIDIA Snapshot》,2026 年 11 月 10 日。https://developer.nvidia.com/blog/start-and-restore-gpu-workloads-in-seconds-with-nvidia-snapshot
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策