RSICCLLM：用于遥感图像变化字幕的多模态 大语言模型

遥感图像变化描述（RSICC）旨在描述双时态遥感图像之间的变化，具有重要的研究和应用价值。然而，大多数现有方法依赖于传统的深度学习架构，有限的模型容量限制了性能。尽管大模型 后训练 技术在一般领域取得了巨大成功，但由于数据稀缺和对细粒度变化理解的需要，将其直接转移到 RSICC 仍然具有挑战性。为了解决这个问题，我们提出了 RSICCLLM，这是 RSICC 中第一个用于大型视觉语言模型的 后训练 框架。具体来说，我们设计了数据生成范式，发布了指令数据集RSICI，并建立了特定于任务的RSICC基准。我们进一步引入差异感知监督 微调 来显式提取变化表示并指导模型感知和理解时间差异。此外，我们提出了双负偏好优化（DNPO），它采用两种互补的负样本构建策略来构建偏好数据集 RSICP 并进一步细化模型性能。大量的实验验证了RSICCLLM的卓越能力，仅用7B个参数就取得了出色的结果，超越了更大尺度的模型。代码和数据集将在 https://github.com/keaill/RSICCLLM 上公开提供。