Maistros：根据大型推理模型的 知识蒸馏 改编的希腊语 大语言模型

大语言模型 (LLM) 极大地推进了自然语言处理 (NLP) 领域的发展，在广泛的任务中实现了最先进的性能。这些改进部分归功于它们新兴的推理能力，这是通过大规模训练和增加的模型能力实现的。然而，由于内部知识有限或需要多步推理，现有的 LLM 在处理超出其训练分布的复杂查询时可能会生成错误的响应。为了解决这些限制，最近的工作引入了大型推理模型（LRM），它结合了显式的内部推理过程来提高响应准确性。此外，最先进的 LRM 通常包含数千亿个参数，每次推理都需要几秒钟的时间，即使在先进的多 GPU 系统上也是如此。这些特性限制了它们在传统计算环境中部署的实用性。与此同时，多语言 LLM 的 NLP 研究继续优先考虑高资源语言。然而，这些模型在资源贫乏的语言中表现出有限的性能，这主要是由于特定语言和文化的训练数据不足。在本文中，我们关注现代希腊语，仅提出了有限数量的问答（QA）数据集，其中大部分用于模型评估。为了解决希腊语 QA 领域的这一研究空白，我们做出了以下贡献：(i) CulturaQA，一个由 LRM 生成且人工策划的高质量数据集，用于希腊语 LLM 训练和评估； (ii) 一个内存高效的 LLM 评估框架，适用于不同的语言和 QA 任务； (iii) Maistros 8B，一种最先进的开放重量希腊语 LLM，通过 CulturaQA 上的 知识蒸馏 和 微调 开发； (iv) 对 9 个人工管理的希腊语 QA 数据集中的 9 个 LLM 进行综合评估。