论文

AMALIA 技术报告：欧洲葡萄牙语的完全开源大语言模型

AMALIA Technical Report: A Fully Open Source Large Language Model for European Portuguese

Afonso Simplício; Gonçalo Vinagre; Miguel Moura Ramos; Diogo Tavares; Rafael Ferreira; Giuseppe Attanasio; Duarte M. Alves; Inês Calvo; Inês Vieira; Rui Guerra; James Furtado; Beatriz Canaverde; Iago Paulo; Vasco Ramos; Diogo Glória-Silva; Miguel Faria; Marcos Treviso; Daniel Gomes; Pedro Gomes; David Semedo; André Martins; João Magalhães来源日期：2026.03.27

模型训练预训练

摘要

尽管开放大语言模型 (LLM) 取得了快速进展，但欧洲葡萄牙语 (pt-PT) 在训练数据和本机评估中的代表性仍然不足，机器翻译的基准可能会忽略该变体的语言和文化细微差别。我们推出 AMALIA，这是一个完全开放的 LLM，它通过在中期和后训练阶段使用更多高质量的 pt-PT 数据来优先考虑 pt-PT。为了更忠实地评估 pt-PT，我们发布了一套 pt-PT 基准，其中包括翻译的标准任务和四个针对 pt-PT 生成、语言能力和 pt-PT/pt-BR 偏差的新数据集。实验表明，AMALIA 与翻译基准的强大基线相匹配，同时显着提高了 pt-PT 特定评估的性能，支持欧洲葡萄牙语的针对性训练和本地基准测试。