多语言模型真的在改进吗？隔离真正的跨语言迁移

跨语言迁移是模型将功能从代表性良好的源语言推广到代表性不足的目标语言的能力。模型迁移强度的现有衡量标准将迁移的改进与源语言准确性的总体改进混为一谈。我们提倡使用一种替代指标，即硬度调整转移 (HAT) 分数，可靠地捕获转移强度，并使用它来获得有关影响转移强度的因素的多种见解。我们对二十种不同语言模型和三个流行的主流多语言基准的分析表明，1）小模型中的迁移并未被破坏，2）我们在模型大小的跨语言迁移方面取得的进展比预期慢，3）随着时间的推移，我们取得了明显的进展。