Lenny Aharon、Neta Glazer 和 Lior Aharon 于 2026 年 11 月 7 日向 arXiv 提交了 Audit Before You Merge: Provenance, Probing, and Continual LoRA Composition。作者提出,在研究合并公共低秩适配(LoRA)适配器如何影响模型原有能力之前,应先审计这些适配器。摘要称,部分适配器存在未明确标示的基础模型版本不匹配,或更新量范数接近零的问题;将它们纳入实验会使测得的干扰幅度虚增约 10 个百分点。[1]

该研究将每次适配器合并视为持续学习中的一个顺序任务,并将指令微调基础模型原有的能力设为任务 0。作者提出两项审计检查:适配器是否与基础模型匹配,以及参数更新的范数是否达到非微小水平。此外,作者还提出了一套其称为无泄漏的探测评估流程。[1]

对于通过审计的四个 Llama-3.1-8B-Instruct 适配器,作者报告,朴素合并使 GSM8K 表现下降 10.5 个百分点,HumanEval 表现下降 18.3 个百分点。系数为 0.5 的 Task Arithmetic 与未合并基线的差异则在一个标准误以内。坐标搜索为数学适配器选出的探测最优系数为 −0.5。在 Mistral-7B-Instruct-v0.3 实验中,四个候选适配器有两个未通过审计;对通过审计的适配器进行合并后,各合并方法在 GSM8K 上的表现排序与前述实验一致。[1]

来源

  1. Audit Before You Merge: Provenance, Probing, and Continual LoRA CompositionarXiv · 2026年11月7日

核查或更正本页

验证记录

下方摘要可以说明你读到的文字是否与公开的源文件一致,但不能说明报道内容本身正确。这一摘要在构建时根据本页的 Markdown 源文件计算,并列入站点清单。

61da1ca170e56e4216dd11be2702b7db142cebc21be3a0c2b21a89cc9fca8480