XITE：使用嵌入进行跨语言插值传输

促进多语言语言模型中的跨语言迁移仍然是一个严峻的挑战。为了实现这一目标，我们提出了一种基于嵌入的数据增强技术，称为 XITE。我们从资源匮乏的目标语言中的未标记文本开始，使用基于嵌入的相似性在特定任务的训练语料库中识别英语对应文本，并采用其标签。接下来，我们对源嵌入和目标嵌入执行简单插值，以为特定于任务的 微调 创建合成数据。在插值之前使用线性判别分析 (LDA) 将目标文本投影到语言丰富的子空间中，进一步提高性能。我们基于跨语言嵌入的增强技术 XITE 使用 XLM-R，针对多种目标语言（包括韩语、阿拉伯语、乌尔都语和印地语），在情感分析方面实现了高达 35.91% 的显着改进，在自然语言推理方面实现了高达 81.16% 的显着改进。除了促进跨语言迁移之外，使用 XITE 进行适应还可以防止遗忘并保持高资源语言的任务性能。