LLM 从有针对性的综合多语言数据中变得更聪明

语言特定能力 (LSC) 是一种语言模型根据提示语言表现得更好或更差的现象。换句话说，当用不同的语言提示时，语言模型会对同一语义查询输出不同的（并且可能不正确的）响应。先前的工作将此归因于跨语言语义表示的内部不一致。目前，文献中解决LSC的方法主要有两种：（1）通过英语路由所有查询，提高性能，但将语言表达能力限制为英语； （2）对语言平衡数据进行训练，均衡跨语言的模型性能，但降低整体性能。在这项工作中，我们采取以数据为中心的视角，并介绍 HOTFIXR：用于改进 X-Lingual Reasoning 的硬度优化训练数据。它是一个数据生成框架，使用模型来探索和学习学生模型的多语言弱点，并生成数据来缓解这些弱点。 HOTFIXR 可以生成多语言合成训练数据，从而提高多语言性能。我们评估了三个分布内任务、三个分布外任务和四种分布外语言。平均而言，HOTFIXR (1) 将分布内性能提高了 6.2%，(2) 将 OOD 任务上的灾难性遗忘（由 微调 引起）减少了 3.7%，(3) 将 OOD 语言上的灾难性遗忘减少了 7.1%。总的来说，由于许多现实世界的应用程序需要多语言 LLM，我们的工作有助于使 LLM 精通多语言。我们将在接受后发布代码。