论文
x1:学习跨语言和文化的适应性思考
x1: Learning to Think Adaptively Across Languages and Cultures
摘要
语言编码不同的抽象和归纳先验,但大多数 大语言模型 (LLM) 通过使用单一主导语言进行推理而忽视了这种多样性。在这项工作中,我们引入了 x1,这是一系列推理模型,可以在每个实例的基础上以有利的语言进行自适应推理。为了隔离推理语言选择的影响,x1 是在不扩展模型知识边界的情况下构建的,并通过对比相同输入的语言上不同的推理轨迹来进行训练。我们广泛的实验证明了自适应多语言推理在多语言数学推理和基于文化的任务中的好处。此外,我们的结果挑战了缩放法则的简单化观点:虽然缩放减少了数学推理等程序领域的跨语言差异,但它并没有消除文化相关语言在基于文化的任务中的优势,因为我们凭经验表明,这种推理可以实现更高效、更准确的文化知识回忆。总体而言,我们的研究结果将语言选择确立为推理的功能组成部分,这对于建立更通用和具有全球能力的推理模型具有重要意义。