M-MiniGPT4：通过翻译数据进行多语言 VLLM 对齐

本文提出了一种多语言视觉大语言模型，命名为M-MiniGPT4。我们的模型展示了跨 11 种语言的强大视觉语言理解 (VLU) 能力。我们利用本地多语言和翻译数据的混合来推动 MiniGPT4 架构的多语言 VLU 性能。此外，我们提出了一个多语言对齐训练阶段，使用并行文本语料库来进一步增强我们模型的多语言能力。 M-MiniGPT4 在多语言 MMMU 基准上实现了 36% 的准确率，优于同一模型规模级别的最先进模型，包括大部分工作完成后发布的基础模型。我们开源我们的模型、代码和翻译的数据集，以促进未来在资源匮乏和多语言环境中的研究。