论文

利用语言距离改善跨语言迁移的公平性

Language Distances are Practical for Equitable Cross-Lingual Transfer

模型评测鲁棒性、公平性与可信度评测

摘要

跨语言迁移很大程度上取决于源语言的选择,但为每种目标语言确定最佳候选源是不切实际的,特别是对于资源匮乏的目标语言。语言距离被广泛用于对候选源进行排名,因为它们与资源稀缺环境中的迁移效率和适用性相关。然而,跨任务和资源级别的基于距离的排名器的可靠性仍未得到充分探索。因此,我们提出了第一个以公平为中心的源语言排名范式评估,研究十个跨语言任务和两个多语言模型的资源水平不平等和任务不平等。虽然这两种不平等在个人语言距离和始终以英语为基准的情况下最为明显,但通过无训练的复合距离可以大大减少它们,并且通过训练有素的排名者几乎可以消除它们。与使用语言模型内部的排名器相比,我们进一步证明了使用语言距离的排名器的可靠性。总的来说,我们发现语言距离为公平且高效的迁移语言选择提供了实践基础。当特定于任务的转移评估可用时,我们建议使用训练有素的排序器,否则使用复合距离。