论文
AMALIA-VL：欧洲本土葡萄牙语开源愿景和语言模型
AMALIA-VL: A Native European Portuguese Open-Source Vision and Language Model
摘要
大视觉和语言模型 (LVLM) 发展迅速，但欧洲葡萄牙语 (pt-PT) 仍然没有得到现有开源多模式模型的系统性服务，这些模型要么将其与巴西葡萄牙语混为一谈，要么在训练数据组合中严重低估了它的代表性。我们推出 AMALIA-VL，这是第一个为 pt-PT 原生构建的开源指令调整 LVLM，通过学习连接器将高分辨率视觉编码器与动态图像平铺和完全开放的 pt-PT 优化语言模型配对。我们贡献了一个专门设计的三阶段训练过程——视觉语言对齐、一般视觉指令调整和偏好优化——以及以 pt-PT 为中心的多模式数据组合，将策划和翻译的公共数据集与新颖的数据集相结合，解决欧洲葡萄牙语多模式资源几乎完全缺乏的问题。我们的评估表明 AMALIA-VL 为开源 pt-PT LVLM 建立了强大的基线。我们将发布模型权重、训练数据和构建管道以及机器翻译的 pt-PT 评估基准，以帮助实现 pt-PT LVLM 开发的民主化。