DICS：探索视觉指令选择的数据内在一致性

视觉指令调整对于提高视觉语言模型（VLM）的视觉语言对齐和指令跟踪能力至关重要。然而，从快速扩展的数据集中识别固定比率约束下的最佳子集仍然是一个重大瓶颈。虽然现有的方法在很大程度上依赖于分布多样性或启发式过滤，但它们经常忽略单个样本内的内部一致性。为了弥补这一差距，我们提出了数据内在一致性（DIC），这是一种自评分指标，旨在量化样本级组件间的一致性。 DIC 由两个模块组成：视觉信息一致性（VIC），评估视觉内容和指令之间的一致性；以及响应信息一致性（RIC），评估相对于指令的响应一致性。在 DIC 的基础上，我们引入了数据内在一致性选择（DICS），这是一种自适应数据选择方法，可在不同数据预算下优化样本内高一致性和全局分布多样性之间的权衡。大量实验表明，DICS 在不同的数据集规模和模型架构中始终优于最先进的方法，超越完整数据集 微调，同时仅使用 25% 的 LLaVA-1.5-665K 数据。我们进一步策划了 DICS-6M，这是一个 600 万样本的多模式指令语料库，可实现迄今为止最大规模的视觉指令选择研究；值得注意的是，DICS 使用不到 25% 的报告训练数据就达到了官方 InternVL3-8B-Instruct 性能的 94.52%。代码可见https://github.com/cqu-student/DICS