论文
CoRe:视觉语言模型中跨图像比较推理的综合框架
CoRe: A Comprehensive Framework for Cross-Image Comparative Reasoning in Vision-Language Models
摘要
跨图像比较推理对于视觉语言模型(VLM)仍然具有挑战性,特别是当正确的预测需要细粒度的属性与视觉证据对应和全局一致的推理时。我们提出了 CoRe,一个解决这个问题的统一框架。 CoRe 包括: (i) CoRe-20K,一个基于三元组的大规模训练集,通过多专家协作管道从结构化视觉元数据自动构建,涵盖计数、深度、距离和空间关系; (ii) TriSR,一种结构化奖励框架,共同监督 GRPO 优化下的属性与视觉证据对应、判断对齐和三元组一致性; (iii) CoRe-Bench,第一个致力于细粒度跨图像比较推理的基准。实验表明,CoRe 在 CoRe-Bench 上的性能大大优于现有的 VLM,同时在标准多模态基准上保持竞争力,在最强基线上实现部分精度提高 28.2 点。