2026 年 10 月 14 日,新加坡资讯通信媒体发展局(IMDA)发布了《智能体系统安全与可靠性测试入门工具包》(Starter Kit for Testing Agentic Systems for Safety and Reliability)。同一天,AI Verify 基金会面向代他人测试 AI 系统的公司推出了认可计划。[1]IMDA 还成立了一个工作组,关注新加坡资讯通信与媒体行业面临的 AI 赋能网络威胁。[1]
工具包的出发点是:智能体在人类参与有限的情况下作用于所处环境,一旦出现故障,就可能造成实际影响。[2]它把测试分为四个步骤,从识别错误操作或未经授权的操作等风险,到持续监测和重新测试。[1]
由于智能体的行动跨越多个步骤,工具包建议除了测试最终输出,还要测试智能体的完整轨迹,包括推理过程和行动。[1, 2]工具包要求记录智能体的行动、工具调用和状态变化,以便重建并评估其行为。它还提出了工具使用准确率、交接准确率等智能体专用指标。[2]IMDA 称,工具包是在征询政府机构以及 20 多家部署方和测试方意见的基础上编写的。IMDA 还说,工具包将作为动态文件持续更新。[1]
申请基金会 AI 测试方认可计划(AI Tester Accreditation Programme)的公司,需要接受技术、运营和财务评估。首批五家获得认可的公司是 AIDX Tech、Knovel Engineering、PwC Singapore、Resaro 和 Vulcan。认可有效期为一年。[1]
根据基金会的计划页面,技术评估会对照若干指南检查公司声称提供的测试服务,其中包括 IMDA 早先发布的大语言模型应用测试入门工具包。页面称,认可表示一家公司已表明自己能够在特定且有书面记录的风险范围内评估 AI 系统。页面还说,认可并不是对 AI 系统完全安全或没有任何风险的保证或认证。[3]
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策
