论文

通过体验回放和模型汤,IndicTrans2 的会话领域适应 21 种印度语言

Conversational Domain Adaptation of IndicTrans2 across 21 Indic Languages via Experience Replay and Model Soups

模型优化模型合并

摘要

IndicTrans2 是最强大的开放式英语到印度语翻译系统,但与大多数系统一样,它是针对一般文本进行训练的,并且在随意的会话输入中听起来很生硬。我们仅使用公共数据(OpenSubtitles、BPCC-H-Daily、Tatoeba)使 IndicTrans2-1B 适应所有 21 种印度语言的对话语域。普通 微调 改进了会话 chrF,但忘记了一般域(它在印地语的 FLORES 上下降了 3.9 chrF)。将一般数据混合回训练中(体验重播),然后将微调后的权重与基础进行平均(模型汤化)可以消除这种权衡:生成的模型在 21 种语言中的每一种的会话 chrF 上都击败了 IndicTrans2-1B(平均值 +6.2),同时在 FLORES 上进行匹配(平均值变化 -0.17,全部在 0.7 chrF 以内)。配对引导测试证实会话增益显着 (p <= 0.004) 并且 FLORES 没有显着降低。我们对范围进行了深思熟虑:这些是 chrF 增益,盲人加多模型 LLM 检查并不能确认它们是感知到的质量改进,因此我们将对话增益主要视为与参考文献的语域匹配,而不是更好翻译的证明。这些技术并不新鲜;其贡献是在印度对话环境中进行诚实的、端到端的研究。