KServe 仓库于 2026 年 11 月 9 日收到一份 RFC,提议为机密推理引入结合远程证明的端到端传输层安全协议(TLS)。作者指出,将模型权重放在可信执行环境(TEE)内保护,并不意味着服务链路上的提示词和生成结果也受到同样保护。保存的议题记录呈现的是提案与讨论,并非已发布的修复。[1]
据 RFC 描述,启用 enableLLMInferenceServiceTLS 后,控制器会生成自签名证书,将私钥存入持久化到 etcd 的 Kubernetes Secret。拥有相应 Secret、etcd 或备份访问权限的一方因此可能取得密钥。文中描述的网关还会终止客户端 TLS 连接,接触明文,再将流量重新加密后发往工作负载。这些路径与 RFC 将服务提供方视为不可信方的威胁模型存在冲突。[1]
提案拟增加可选的 tls 配置,通过 CDH 从密钥代理服务(KBS)获取证书和密钥,写入内存卷,跳过证书 Secret 的创建,并在 TEE 内终止 TLS。对于符合条件且未配置调度器的路由,控制器将采用 TLSRoute 透传。RFC 指出,这与当前 EPP 调度路径不兼容;将网关和 EPP 放进独立 TEE 的方案仍在讨论,如何对其配置进行远程证明尚未解决。[1]
[1]: KServe 仓库,“RFC: End-to-end attested TLS for confidential inference”,第 6577 号议题,创建于 2026 年 11 月 9 日。https://github.com/kserve/kserve/issues/6577
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策