论文

资源匮乏的东南亚语言中的本土多语言思维链推理

Native Multilingual Chain-of-Thought Reasoning in Low-Resource Southeast Asian Languages

摘要

大语言模型在推理能力上取得了长足的进步。然而,在资源匮乏的母语环境中,许多人遭受跨语言崩溃的困扰,在需要复杂逻辑推理的中间步骤中恢复到英语。这给策略优化带来了冷启动瓶颈,而标准 微调 由于跨语言表示漂移而面临灾难性遗忘的风险。为了应对这些挑战,我们引入了 Onramp-Sequence Cross-蒸馏 (OSCD),这是一种 后训练 算法,可在生成训练轨迹期间通过集成的翻译器代理循环将高资源推理轨迹投影到低资源词汇子空间中,从而确保动态生成的 微调 参考样本的稳定和高效翻译。这与参考语言和目标语言推理轨迹的联合嵌入语义对齐相结合,从而弥合了成对的跨语言表征差距。使用 AIME25 和 HMMT25 基准进行的综合评估表明,OSCD 在数学推理方面对东南亚本地语言的总体改进高达 3.2 倍,其中联合嵌入语义对齐组件在语言消除偏差方面比仅翻译基线提高了 6.4%。