生物医学专业还值得吗？来自新法国健康语料库的领域自适应语言建模的见解

大语言模型 (LLM) 在不同领域表现出了卓越的能力，但它们对专业领域的适应仍然具有挑战性，特别是对于非英语语言。本研究调查了领域自适应 预训练 (DAPT)，作为通过持续的 预训练 在法国生物医学领域专门化中小型 LLM 的策略。我们解决了两个关键研究问题：专门持续的 预训练 用于领域适应的可行性以及特定领域的性能增益和一般能力退化之间的关系。我们的贡献包括发布适合商业和开源应用程序的完全开放许可的法国生物医学语料库、专业法国生物医学 LLM 的训练和发布以及 DAPT 实施的新颖见解。我们的方法包括收集和完善高质量的法国生物医学文本、使用 DAPT 探索因果语言建模方法以及进行广泛的比较评估。与之前的研究相比，我们的结果对 DAPT 的功效产生了怀疑，但我们强调了它在适当条件下在小规模、资源有限的情况下的可行性。本文的研究结果进一步表明，DAPT 后的模型合并对于减轻泛化权衡至关重要，在某些情况下甚至可以提高 DAPT 所针对的专门任务的性能。