NVIDIA 于 2026 年 10 月 30 日发布教程,介绍 NVIDIA AI Cluster Runtime(AICR)如何将 Dynamo 及其 Kubernetes 基础设施打包为带版本的配方。配方记录固定的组件版本、兼容性约束、配置值、校验和与验证预期,让运维人员有一套明确的配置依据来核对部署。[1]
文章指定使用 1.4.2 版 Dynamo Platform Helm chart。示例中的 AICR v1.0.0 配方面向运行于 NVIDIA GB200 NVL72 和 GB300 NVL72 系统上的 Amazon EKS。NVIDIA 表示,团队已在这些平台和硬件上对所列组件版本进行了组合测试;这一说法不能直接推广到其他环境。[1]
流程依次为采集集群快照、生成配方、渲染部署包、安装运行时,以及在部署应用前验证实际集群。部署与符合性检查的具体内容取决于配方,可涵盖 GPU 容量、Operator 健康状态和版本、加速器访问、调度、指标及入口就绪状态。离线验证只评估声明式约束,会跳过行为检查。性能验证另行执行,通过临时服务工作负载占用待测 GPU。[1]
教程还区分了 Dynamo Frontend 路由与结合端点选择插件(EPP)的 Gateway API Inference Extension 路由。示例配置中的两条路径都使用工作进程上报的键值(KV)缓存事件。NVIDIA 提醒,仅根据此前的路由决策预测缓存内容,无法观察缓存逐出,因此路由器掌握的状态可能偏离实际情况。[1]
[1]: NVIDIA Technical Blog,《Build a Validated Kubernetes Runtime for NVIDIA Dynamo》,2026 年 10 月 30 日。https://developer.nvidia.com/blog/build-a-validated-kubernetes-runtime-for-nvidia-dynamo
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策