看起来一样，答案不同：用于鲁棒视觉语言推理的翻转方向转向

视觉语言模型 (VLM) 实现了强大的视觉推理性能，但即使图像看起来几乎相同，常规图像捕获和处理的细微变化也可能改变其推理轨迹。在长视野生成中，产生的激活偏移可能会在解码步骤中累积，逐渐改变推理标记并最终改变最终答案，这种现象称为答案翻转。为了解决这种不稳定性，我们提出了 FlipDir（翻转方向转向），这是一种无需训练的推理时间方法，可以根据原始输入和答案翻转输入的对比对来估计低秩翻转诱导激活子空间，并在解码期间选择性地引导隐藏状态。基于余量的门将子空间衰减限制为不确定的解码步骤，恢复原始预测，同时保留稳定的预测。为了评估固定测试集​​上准确性或一致性之外的鲁棒性，我们引入了 VisFlip，这是一个基准框架，它为目标模型和视觉变化设置构建评估组，以分别评估原始预测的恢复和稳定预测的保存。 VisFlip 跨越科学推理、机器人场景理解和医学 VQA 领域的九个数据集变化组合，涵盖每个领域中常见的微妙视觉变化。 18 种设置的实验表明，FlipDir 在综合恢复和保存指标方面始终优于现有方法。我们将公开我们的代码。