Zheng Jiang 及其合作者于 2026 年 11 月 9 日向 arXiv 提交 WorkflowArena,提出一套评测基准,用于考察大语言模型(LLM)智能体如何组织多个智能体的可执行工作流。作者介绍,该基准包含 145 项长流程任务,覆盖软件工程、形式化数学、法律分析和 3D 制作等八个专业领域。[1]

作者将工作流编排视为一种独立于最终任务完成情况的能力:是否委派任务、创建哪些工作智能体,以及如何协调它们的工作。每项任务提供初始工作区,要求提交由相互依赖的组件构成的完整成果,再由隐藏验证器评估。摘要称,所有任务委派都会被记录,因此可以同时评估交付质量与工作组织方式。[1]

作者报告了对九个模型的实验,称没有一种配置在所有领域都表现最佳。在高投入设置下,Claude Code 中的 Claude 模型调用工作流的频率较低,但工作智能体组规模较大;Codex 中的 GPT 模型则更频繁地以较小单元委派任务。作者还称,在具有挑战性的任务子集上,固定执行模型后,Claude Opus 5.5 编写的工作流可显著改善较弱执行模型的表现。保存的摘要没有提供具体提升幅度或验证器的详细判定标准。[1]

[1]: WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent Systems。arXiv,2026 年 11 月 9 日。https://arxiv.org/abs/2611.12856

来源

  1. WorkflowArena: Benchmarking Executable Workflow Orchestration in LLM-Based Multi-Agent SystemsarXiv · 2026年11月9日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

a7cf468582d84a8d818bcb3456e6edd50f171ae760b2949afa4c71677b48a756