Xinrui Zhong 等八位作者于 2026 年 11 月 4 日向 arXiv 提交 ServerBench,评估编程智能体设计完整、专用的大语言模型(LLM)服务系统的能力。这项基准要求智能体在会话依赖、延迟限制和正确性要求下,协调实现方案与运行决策。[1]
作者将优化目标称为“dollars per dollar”,定义为每美元 GPU 成本所获得的、满足延迟要求的 token 价值。作者称,有状态回放用于保留会话依赖,独立验证则检查提交的系统。因此,这一指标比单纯的 token 吞吐量更具体:它同时考虑延迟要求和 GPU 支出。[1]
摘要报告,在涵盖 11 个编程智能体模型、三种部署的评估中,Claude Sonnet 5.5 在 Gemma E4B 上达到 2.97 dollars per dollar,为 vLLM 参考系统的 4.87 倍。33 次运行中,22 次产出了通过验证的系统,13 次超过最强基线。作者还指出,要可靠交付系统,必须验证优化所引入的执行路径。这些均为作者报告的研究结果;阅读摘要本身无法独立确认这些结果,也无法确认验证器的覆盖范围。[1]
[1]: ServerBench: How can your coding agents design specialized LLM serving systems? arXiv,2026 年 11 月 4 日。https://arxiv.org/abs/2611.06841
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策