使用 MoE 路由器的纯解码器模型的跨语言对齐

跨语言对比学习一直是多语言编码器训练的核心组成部分，但由于多语言标记化的不同，在仅解码器的大语言模型中不可能显式对齐表示的能力。然而，越来越多的研究表明，即使在大语言模型中，更高的跨语言表征一致性也能改善跨语言迁移。在本文中，考虑到现代大语言模型的架构限制，我们提出了一种重新构想跨语言对比学习的新方法。我们建议使用专家混合（MoE）路由器的输出作为对齐目标，而不是在隐藏状态上应用辅助对齐损失。路由器输出更适合汇集许多标记，从而在序列级别实现更可靠的跨语言比较。对四个开源 MoE 进行的受控连续预训练实验表明，合并这种路由损失还可以跨语言对齐底层隐藏表示。最重要的是，这种损失提高了我们多样化评估套件的多语言性能，展示了跨语言 MoE 路由器对齐的潜力。