Xinrui Zhong 等八位作者于 2026 年 11 月 4 日向 arXiv 提交 ServerBench,评估编程智能体设计完整、专用的大语言模型(LLM)服务系统的能力。这项基准要求智能体在会话依赖、延迟限制和正确性要求下,协调实现方案与运行决策。[1]

作者将优化目标称为“dollars per dollar”,定义为每美元 GPU 成本所获得的、满足延迟要求的 token 价值。作者称,有状态回放用于保留会话依赖,独立验证则检查提交的系统。因此,这一指标比单纯的 token 吞吐量更具体:它同时考虑延迟要求和 GPU 支出。[1]

摘要报告,在涵盖 11 个编程智能体模型、三种部署的评估中,Claude Sonnet 5.5 在 Gemma E4B 上达到 2.97 dollars per dollar,为 vLLM 参考系统的 4.87 倍。33 次运行中,22 次产出了通过验证的系统,13 次超过最强基线。作者还指出,要可靠交付系统,必须验证优化所引入的执行路径。这些均为作者报告的研究结果;阅读摘要本身无法独立确认这些结果,也无法确认验证器的覆盖范围。[1]

[1]: ServerBench: How can your coding agents design specialized LLM serving systems? arXiv,2026 年 11 月 4 日。https://arxiv.org/abs/2611.06841

来源

  1. ServerBench: How can your coding agents design specialized LLM serving systems?arXiv · 2026年11月4日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

db968e4478b37d72e14c2e58017a7c1e30b2b4a2e67776954f0ad01652583e67