主题
模型与数据供应链
借助签名、构建溯源和物料清单,用户可以核查模型或数据集由谁产生、来自哪些输入,以及发布后是否被改动。
用户、平台或监管者可以核查,模型文件自已知发布者签名以来是否保持不变。他们还可以核查文件是如何构建的,以及它声明了哪些数据集和依赖项。这些证据来自移植到机器学习领域的软件安全实践。签名清单列出模型各个文件的哈希值(OpenSSF 模型签名)。构建溯源描述制品是如何构建的(SLSA)。AI 物料清单声明模型的数据集和依赖项(CycloneDX、SPDX)。透明日志记录签名和签名声明(Sigstore、IETF SCITT)。有效的签名说明制品由谁发布、签名后未被改动,但不能说明模型是安全的,也不能说明其文档准确无误。
报道
私密 AI 计算服务:从公开设计看外界能核查什么
Apple、Meta、Google 和 Cohere 如今都把 AI 请求发往这样的服务器:其芯片会签署一份记录,说明服务器加载了哪些软件。至于公司以外的人能就这些软件核查什么,各家公开的设计并不相同。
CISA 与 G7 伙伴发布 AI 软件物料清单最低要素
2026 年 5 月 12 日发布的联合指南列出了 AI 系统组件清单应当记录的内容,包括模型权重和数据集的哈希值。这些要素供自愿采用,是对通用软件物料清单最低要素的补充。
来源日期 本站刊发 verifiable.pro 快讯,自动采编。
ETSI 发布欧洲标准,为 AI 模型和系统设定基线网络安全要求
ETSI 于 2026 年 1 月 14 日宣布推出 EN 304 223,将其 2025 年发布的 AI 安全技术规范转化为欧洲标准。标准的规定包括:开发者须公布所共享模型组件的密码学哈希值,并记录公开训练数据的来源。
来源日期 本站刊发 verifiable.pro 快讯,自动采编。
Sigstore 模型签名库发布 1.0 版
Google 开源安全团队与开源安全基金会、NVIDIA 和 HiddenLayer 合作一年后,于 2025 年 4 月 4 日发布了 model-signing 软件包 1.0 版。发布者可以为模型文件签名,下游任何人都可以核查这些文件是否与某个已知身份签署的内容一致。
来源日期 本站刊发 verifiable.pro 快讯,自动采编。
SLSA Specification v1.2
简介
逐级提升的供应链安全等级框架,分为构建(Build)和源代码(Source)两条轨道。它推荐了签名声明(attestation)的格式,其中包括构建溯源,即记录制品如何构建的信息。
Sigstore
简介
开源项目,使用与身份绑定的短期证书对软件制品签名和验证。签名事件会记录在 Rekor 透明日志中,这是一种任何人都能核查的公开只追加日志。
Model Transparency
简介
参考实现库和命令行工具(model_signing),可用 Sigstore、公钥或证书对机器学习模型签名。它依据经签名的文件哈希清单验证模型。1.0 版于 2025 年 4 月发布。
OpenSSF Model Signing (OMS) Specification
简介
一种分离式模型签名格式,签名与被签名的文件分开存放。该格式不依赖任何特定实现。一份签名可覆盖模型的各类制品,例如权重、配置文件和分词器。它支持裸密钥、证书链或 Sigstore。
in-toto Attestation Framework
简介
一项规范,用于描述软件如何产生的可验证声明。它定义了标准的声明格式和经审核的谓词类型;谓词类型说明声明属于哪一类。Sigstore 的模型签名即采用 in-toto 声明。
Reproducible Builds
简介
界定并推广可复现构建的项目。在可复现构建中,任何一方都能用相同的源代码、环境和指令,重建逐位相同的制品。因此,任何人都能核对二进制文件与源代码是否一致。
RFC 9943: An Architecture for Trustworthy and Transparent Digital Supply Chains
简介
IETF 的供应链完整性、透明与信任(SCITT)架构,以“建议标准”状态发布。发布方把关于制品的签名声明登记到透明服务。透明服务把声明记入只追加账本,并返回收据,表明声明已被记录。
Machine Learning Bill of Materials (AI/ML-BOM)
简介
CycloneDX 的一项功能,用机器可读的物料清单描述模型、数据集及其依赖关系,涵盖数据集溯源和训练方法。CycloneDX 自 1.5 版起支持 AI。1.6 版已作为 Ecma 标准 ECMA-424 发布。
SPDX Specification 3.0.1: AI Profile
简介
SPDX 规范中的 AI Profile,用于记录 AI 软件包,包含自主类型、能耗、安全风险评估、训练信息和局限性等字段。
Model Cards for Model Reporting
简介
提出模型卡:随已训练模型一同发布的简短文档,说明模型的预期用途,以及在相关条件和人群上的评测结果。
The Data Provenance Initiative: A Large Scale Audit of Dataset Licensing & Attribution in AI
简介
一项审计,追溯了 1800 多个文本数据集的来源、创建者和许可。审计发现,在常用托管网站上,超过 70% 的情况缺失许可信息。
Croissant: A Metadata Format for ML-Ready Datasets
简介
一种元数据格式,为机器学习数据集提供在各类工具、框架和数据仓库之间通用的机器可读描述。MLCommons 托管其规范和代码。
Poisoning Web-Scale Training Datasets is Practical
简介
展示针对网络规模数据集的两种可行投毒攻击,即攻击者把恶意数据混入训练集。其中一种只需约 60 美元,本可污染 LAION-400M 中 0.01% 的数据。论文还提出了低开销的防御措施。
Atlas: A Framework for ML Lifecycle Provenance & Transparency
简介
一个框架,面向支持远程证明的机器学习流水线。它结合可信硬件、透明日志和开放的溯源规范,记录模型从训练到部署的谱系,即模型背后的数据和步骤。
Signing ML Artifacts: Building towards tamper-proof ML metadata records
简介
安全 AI 联盟(CoSAI)关于模型签名的论文,讨论模型签名中的角色、基础组件和成熟度等级。文中包括 NVIDIA 的经验:自 2025 年 3 月起,NVIDIA 在 NGC 目录中发布的每个模型都附带 OpenSSF 模型签名(OMS)。
Independence Tests for Language Models
简介
一组统计检验:给定两个语言模型的权重,判断它们是否由相互独立的随机初始化(初始权重)训练而来。其中基于隐藏层激活匹配的检验能抵御对抗性修改,并能定位从其他模型派生出的组件。例如,它揭示了 Llama 3.2-3B 如何由 Llama 3.1-8B 剪枝初始化而来。
Model Provenance Testing for Large Language Models
简介
一种黑盒框架,对模型输出做多重假设检验,以判断某个大模型是否派生自另一个模型。在涵盖 600 多个模型的基准上,报告的精确率为 90% 至 95%,召回率为 80% 至 90%。
RFC 6962: Certificate Transparency
简介
IETF 的实验性协议,现已被定义 2.0 版的 RFC 9162 取代。以 Merkle 树(哈希树)构建的公开只追加日志记录 TLS 证书,任何人都可以借此审计证书颁发机构。任何人也可以检查日志本身:Merkle 审计路径表明某张证书已被收录,一致性证明表明日志只被追加过。
Datasheets for Datasets
简介
提出每个数据集都应附带一份数据表,仿照电子元器件的数据手册,记录数据集的创建动机、构成、收集过程和推荐用途。
Planting Undetectable Backdoors in Machine Learning Models
简介
论文表明,受托训练模型的服务方可以植入后门,任何计算能力有限的观察者都无法发现。在其中一种构造下,即使拿到完整的网络和训练数据,也无法检测出后门。
Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training
简介
训练带后门的概念验证大模型,例如在提示中称年份为 2024 年时编写含漏洞的代码。研究发现,监督微调、强化学习和对抗训练都可能无法消除这些后门。对抗训练有时反而让模型学会隐藏这种行为。
Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples
简介
在 6 亿至 130 亿参数的模型上开展的预训练实验:250 篇投毒文档在各种规模下都植入了后门。这说明,攻击所需的投毒样本数量几乎不随模型和数据集规模增长。
Explanatory Notice and Template for the Public Summary of Training Content for general-purpose AI models
简介
依据欧盟《人工智能法》第 53 条第 1 款(d)项制定的强制性模板,用于训练内容的公开摘要。通用 AI 模型提供者必须公开这份摘要。摘要需列明数据来源,例如大型公开数据集、抓取量最大的网站域名和用户数据。
AI Cyber Security Code of Practice
简介
英国的自愿性行为守则,按五个生命周期阶段为 AI 系统规定 13 项基线安全原则。这些原则包括保障供应链安全,记录数据、模型和提示词,以及在使用已发布模型前重新运行评测。
Efficient Data Structures for Tamper-Evident Logging
简介
一种基于树结构的篡改可检测日志,事后对条目的任何删除或修改都能被发现。不可信的日志方可以证明事件仍在日志中,且日志与早先版本保持一致。这些证明规模很小,只随日志大小呈对数增长。