用于跨语言推理的软词元对齐

多语言 大语言模型 通常会对不同语言的语义等效提示产生不一致的推理和答案。先前的工作表明，中间表示可能相对与语言无关，但随着模型致力于离散输出标记，生成变得越来越特定于语言。这是有问题的，因为特定于语言的词汇选择可能会导致语义等效的推理路径在不同语言之间出现分歧。这些差异促使人们寻找与任何单个词汇项或脚本无关的跨语言对齐信号。我们提出 SOLAR，这是受监督的 微调 的辅助目标，它使用英语作为枢纽，跨语言对齐软词元表示。软词元是词汇嵌入的概率加权混合，产生连续表示，可以从跨语言的语义相关词元中聚合信息。然后，我们将每个非英语软词元摘要与其在共享嵌入空间中的英语对应部分对齐。在四个多语言推理基准测试中，SOLAR 的准确率比基本模型提高了 17.7 点，比标准监督 微调 提高了 3.8 点，其中在低资源语言上的提升最大。 SOLAR 还增强了最终层的跨语言相似性，并大大降低了语言簇的可分离性，这表明对齐软词元表示有助于在多语言推理过程中保留共享的语义结构。