超越双语迁移：指令调优中的多语言代码切换

最近的研究表明，在同一上下文中混合多种语言的语码转换数据（CSD）可以改善 大语言模型（LLM）中的跨语言迁移和多语言对齐。然而，现有的研究主要集中在英语和目标语言之间的双语迁移，而涉及三种或更多语言的多语言环境基本上尚未探索。在这项工作中，我们研究了四种语言的多语言代码转换指令调整：英语、日语、韩语和中文。我们评估 Belebele 的多语言理解能力。我们的实验表明，简单的句子级多语言 CSD 持续提高了所有四种语言的平均多语言性能，这表明多语言代码转换可以比双语转移设置更有效。