CCRC：用于图像变化描述和分割的变化感知描述和推理链

了解并定位配对图像之间的细微变化对于监视和图像编辑等任务至关重要。然而，传统的图像变化描述（ICC）方法缺乏空间定位，限制了其精度。我们引入图像变化描述和分割（ICCS），这是一种新的多模式任务，共同需要结构化变化描述和像素级定位。为了解决 ICCS，我们提出了变化感知描述和推理链（CCRC），这是一个将语义推理与空间分割分离的双链框架。第一条链，Chain-of-Change-Captioning (CCC)，通过基于插入多模态 大语言模型 (MLLM) 的视觉和语言组件之间的多头变化感知注意力的视觉融合模块来增强细粒度的变化感知。 CCC 还确定变更是否可分段。如果没有，它会单独生成标题。否则，第二条链，即变更链分段 (CCS)，将被激活，利用 CCC 的空间先验，并使用变更感知词元精炼器精炼掩模，以实现准确的边界定位。我们通过像素级监督在合成和现实世界变化检测基准上评估 CCRC。实验表明 CCRC 实现了最先进的性能。