NVIDIA 于 2026 年 10 月 30 日发布教程,介绍 NVIDIA AI Cluster Runtime(AICR)如何将 Dynamo 及其 Kubernetes 基础设施打包为带版本的配方。配方记录固定的组件版本、兼容性约束、配置值、校验和与验证预期,让运维人员有一套明确的配置依据来核对部署。[1]

文章指定使用 1.4.2 版 Dynamo Platform Helm chart。示例中的 AICR v1.0.0 配方面向运行于 NVIDIA GB200 NVL72 和 GB300 NVL72 系统上的 Amazon EKS。NVIDIA 表示,团队已在这些平台和硬件上对所列组件版本进行了组合测试;这一说法不能直接推广到其他环境。[1]

流程依次为采集集群快照、生成配方、渲染部署包、安装运行时,以及在部署应用前验证实际集群。部署与符合性检查的具体内容取决于配方,可涵盖 GPU 容量、Operator 健康状态和版本、加速器访问、调度、指标及入口就绪状态。离线验证只评估声明式约束,会跳过行为检查。性能验证另行执行,通过临时服务工作负载占用待测 GPU。[1]

教程还区分了 Dynamo Frontend 路由与结合端点选择插件(EPP)的 Gateway API Inference Extension 路由。示例配置中的两条路径都使用工作进程上报的键值(KV)缓存事件。NVIDIA 提醒,仅根据此前的路由决策预测缓存内容,无法观察缓存逐出,因此路由器掌握的状态可能偏离实际情况。[1]

[1]: NVIDIA Technical Blog,《Build a Validated Kubernetes Runtime for NVIDIA Dynamo》,2026 年 10 月 30 日。https://developer.nvidia.com/blog/build-a-validated-kubernetes-runtime-for-nvidia-dynamo

来源

  1. Build a Validated Kubernetes Runtime for NVIDIA Dynamodeveloper.nvidia.com · 2026年10月30日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

1901f04bbf594f46e17d08a6d5fc6e42dfc780859994c1dddf54be47e6f696fc