迈向 LLM 超越以英语为中心的发展

通过对开放权重 大语言模型 (LLM) 生成的序列的分析，我们证明 LLM 严重偏向英语。虽然连续的 预训练 通常用于使 LLM 适应目标语言，但我们表明，与从头开始训练相比，它并没有提供成本优势，即使是为了提高目标语言的文化理解。这些发现表明，针对未来的 LLM 开发，针对每种语言的专门投资可能变得越来越重要，而不是主要依赖于以英语为中心的资源的扩展。