论文
DeltaMerge-LowRes:组合语言和任务增量以实现低资源适应
DeltaMerge-LowRes: Composing Language and Task Deltas for Low-Resource Adaptation
摘要
将多语言编码器适应新语言\emph{和}只有几百个标准标注样例的新任务是常见的低资源 NLP 设置,但这两个轴通常通过昂贵的语言任务 微调 运行来融合。我们询问是否可以单独训练它们并在权重空间中重新组合。 \DeltaMergeLowRes{} 从未标记的单语文本中学习语言增量 $Δ_L$,从标记的英语数据中学习任务增量 $Δ_T$,然后根据四个规则之一进行推理:加法、激活引导、稀疏感知和新颖的 \emph{跨轴 TIES}。新规则将 TIES 合并步骤的修剪、符号选择和合并调整为语言和任务轴,而不是两个任务轴。将 $(Δ_L,Δ_T)$ 固定在四个任务族和四种非洲语言的规则上($158$ 评估单元格,每个单元格 $10{,}000$ 样本配对引导程序),我们发现:(i)跨轴 TIES 通过 $+4$ 到 $+7$ chrF 在 $3/4$ 语言上赢得了总结(chrF $18.59$ vs.\ $13.80$ 仅任务); (ii) 将 QA F1 提高了 $+2.32$,将 EM 提高了 $+2.91$; (iii) 稀疏感知合并将 ECE 分类在奇偶校验宏 F1 上削减了 $36\%$。组合规则实质上改变了合并模型保留、抑制和校准的内容。我们发布所有 JSON 跟踪和索赔分类账。