Erfan Baghaei Potraghloo 等人于 2026 年 11 月 4 日向 arXiv 提交 SafeStart 论文,报告称:减少混合专家(MoE)语言模型推理时启用的专家数量,可能削弱模型对有害请求的拒答能力。他们提出保留每次响应初期计算量的方法,并称这能保留所报告的大部分解码加速收益。[1]
MoE 模型将每个词元分配给部分专家子网络处理。摘要称,在单张 RTX A6000 上使用 vLLM、批大小为 8 时,保留约三分之二的已选专家,可使离线解码加速 15%–28%。但在要求模型不要拒答的越狱提示下,Qwen1.5-MoE、OLMoE 和 DeepSeek-V2-Lite 回答有害请求的比例分别上升 18.4、9.5 和 6.6 个百分点。这三个模型是九个受测模型中增幅显著的模型;MMLU 准确率下降均不足两个百分点。[1]
作者认为,大部分增幅出现在处理提示和生成最初几个词元的阶段。因此,SafeStart 在处理提示及生成前八个词元时运行全部专家,随后通过 vLLM 融合内核使用缩减后的专家集合。作者报告,在批大小为 8 和 32 时,该方法保留了至少 85% 的离线解码加速收益。在 889 条留出请求上,专家截减使有害请求配合率上升 5.8–21.4 个百分点;使用 SafeStart 后,增幅为 0.6–2.6 个百分点,其中两个模型达到作者设定的非劣效标准。[1]
[1]: SafeStart: Mitigating the Overlooked Safety Cost of Active Expert Reduction in MoE LLM Serving。arXiv,2026 年 11 月 4 日。https://arxiv.org/abs/2611.06147
来源
核查或更正本页
- 更正
- 提交更正请求 · 在 GitHub 编辑源文件 · 更正政策