2026 年 9 月 16 日,Cohere 在 X 上发帖,宣布在 Model Vault 中引入机密计算。Cohere 称,包括它自己在内的任何人都无法访问客户的工作负载。[1]Model Vault 为客户提供专用的单租户模型部署。Cohere 的文档把这一新选项称为 Model Vault Encrypted,并说明它目前以测试版形式向联系该公司的客户提供。[3]

根据文档,推理在基于硬件的机密虚拟机(VM)中运行,并搭配处于机密计算模式的 NVIDIA GPU。在机密虚拟机中,硬件会加密虚拟机的内存,并按设计将其与宿主机隔离。在文档举的例子中,虚拟机采用 Intel Trust Domain Extensions(TDX)或 AMD Secure Encrypted Virtualization-Secure Nested Paging(SEV-SNP)。[3]客户端使用不经意 HTTP(OHTTP)加密请求,加密所用的密钥在经过远程证明的环境内生成,因此负载均衡器和网络传输的只有密文。[2]

文档描述了一种基于 Intel TDX 的部署。在这种部署中,Intel 的远程证明服务 Intel Trust Authority 依据已批准的策略评估来自 CPU 和 GPU 的证据,并签发一个签名令牌。在发送任何数据之前,Cohere 的客户端代理会验证 Intel 的签名,以及令牌所报告的度量值(即所加载代码和配置的哈希值)。它还会检查加密密钥是否与经过远程证明的环境绑定;只要有一项检查未通过,就会拒绝连接。[2]

每个推理响应还附带一份远程证明证书,客户可以保存下来,作为处理该请求的环境的记录。Cohere 称,已批准的度量值来自开源代码的可复现构建,因此独立第三方可以重新构建这些制品并加以比对。[2, 3]

文档的常见问题(FAQ)页面还列出了哪些信息在受保护环境之外仍然可见:模型名称等路由元数据、运行指标,以及网络时序和传输字节量。它指出的残余风险包括硬件侧信道(通过耗时等效应间接泄露信息)、需要深度物理接触的攻击,以及运营方停止或重启该环境的能力。[3]

来源

  1. Introducing Confidential Computing in Model VaultCohere on X · 2026年9月16日
  2. Remote Attestation (Model Vault Encrypted documentation)Cohere · 访问于 2026年10月20日
  3. Frequently Asked Questions About Model Vault EncryptedCohere · 访问于 2026年10月20日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

b067a022933d11505a21e52227486b5deb4718dd8e4ae776e11332feb36b5141