Sachin Gupta 于 2026 年 11 月 4 日向 arXiv 提交 AgentTrustCI 论文,介绍了一个在软件构建阶段检查大语言模型(LLM)智能体的 Java/JUnit 5 框架。它关注应用行为:智能体是否选择了获准工具、回答是否以工具输出为依据,以及是否遵循了规定工作流。摘要指出,基础设施安全本身无法确立这些属性。[1]

AgentTrustCI 将这些要求表达为针对已记录执行轨迹的策略检查、依据检查和轨迹检查。确定性重放实现支持可重复测试,评判接口则允许接入可选的语义评估。摘要举例说明,即使回答有依据,生成回答所走的操作顺序仍可能违规,因此工作流检查可以补充覆盖范围。[1]

作者报告,完整流程正确分类了覆盖七个企业领域的全部 55 个合成案例,包括 30 个注入故障和 25 个正常对照,其中十个为非简单对照;12 个指定关键案例均无漏检。每种单层检查配置正确分类了 35 个案例,而测试集有意为每层分别设置十个故障。这些是论文报告的研究结果;摘要明确限定,它们体现的是自编回归测试集的覆盖情况,不能据此确定生产环境准确率。[1]

[1]: AgentTrustCI: Build-Time Policy, Grounding, and Trajectory Tests for Java LLM Agents,Sachin Gupta,arXiv,2026 年 11 月 4 日。

来源

  1. AgentTrustCI: Build-Time Policy, Grounding, and Trajectory Tests for Java LLM AgentsarXiv · 2026年11月4日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

49603f6fdf8622be1961c07ddb78befdcac0f6cd944a21fc48f67dd30cb7e4a6