Evian：迈向可解释的可视化指令调整数据审计

大视觉语言模型 (LVLM) 的功效很大程度上取决于其训练数据的质量，需要视觉保真度和指令跟踪能力之间的精确平衡。然而，现有数据集受到质量不一致的困扰，并且当前的数据过滤方法依赖于粗粒度的分数，缺乏识别逻辑谬误或事实错误等细微语义缺陷的粒度。这造成了开发更可靠模型的根本瓶颈。为了解决这个问题，我们做出了三项核心贡献。首先，我们通过系统地注入各种微妙的缺陷来构建一个大规模的、30万样本的基准测试，为数据审计提供一个具有挑战性的测试平台。其次，我们引入了一种新颖的“分解然后评估”范式，将模型响应分解为构成认知成分：视觉描述、主观推理和事实主张，从而实现有针对性的分析。第三，我们通过 EVIAN（可解释的视觉指令调整数据审计）实例化这个范例，这是一个自动化框架，可以沿着图像文本一致性、逻辑连贯性和事实准确性的正交轴评估这些组件。我们的实证研究结果挑战了盛行的以规模为中心的范式：在 EVIAN 策划的紧凑、高质量子集上进行微调的模型始终超越在数量级更大的数据集上训练的模型。我们还表明，将复杂的审计划分为可验证的子任务可以实现稳健的管理，并且逻辑一致性是数据质量评估中最关键的因素。