论文
事后合并不够：带损失差平衡的多快照模型合并
Post-Hoc Merging is Not Enough: Many-Shot Model Merging with Loss-Gap Balancing
摘要
模型合并已成为通过组合多个任务专用模型构建单一多任务大语言模型（LLM）的实用后训练策略。但多数既有方法依赖事后合并——任务专用模型仅在训练后合并一次。这种一次性聚合常 suffer 任务干扰——导致跨任务的 信息擦除。本工作中——我们表明以迭代式多快照合并协议取代事后合并可有效改进多任务性能。基于该洞见——我们提出METIS（缓解任务干扰的擦除以稳定多快照合并）——损失感知的多快照合并方法——经逐任务损失差加权与基于共识的掩码处理事后合并中的信息擦除。值得注意的是——METIS在表现最差任务上取得显著性能提升——有效缓解信息擦除。（项目页：https://imkyungjin.github.io/METIS/）
