论文
一个领域,多种语言:为跨语言遥感 MLLM 构建领域和语言 LoRA,无需配对数据
One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data
摘要
遥感 (RS) 多模态大语言模型 (MLLM) 仅以英语进行训练和评估,而纯文本指令数据涵盖 100 多种语言。我们提出了 MODL(相互正交域语言合成),这是一种在没有单个多语言 RS 示例的情况下向英语 RS MLLM 添加新语言的方法:在英语 RS 图像上训练的域 LoRA 和仅在文本上训练的语言 LoRA 是联合学习的,在一个损失项下,使两个更新在整个训练过程中的每一层都保持相互正交。这个限制就是配方的活性成分。如果没有它,相同的训练可以正确回答 RS 问题,但是是英语,会消除基本模型的大部分多语言文本能力,并且会出现三分之一的偏差;从免训练合并到先前的正交变体,十六种替代方案都以同样的方式失败。 MODL 修复每个种子上的每一个失败:答案是正确的,并且目标语言的概率为 56-71%,其中最佳替代方案达到 27%,大多数保持在 8% 以下,文本能力保持在未经训练的基础水平,在西班牙语上,它超过了 Qwen2.5-VL-7B,多语言多模态数据为零。一个五种语言的适配器在三个种子中充分保留英语、西班牙语和越南语;非拉丁文字仍然是一个开放的边界。