HTDC：犹豫触发差分校准，用于减轻大型视觉语言模型中的幻觉

大型视觉语言模型（LVLM）实现了强大的多模态性能，但仍然遭受由于不稳定的视觉基础和过度依赖语言先验而引起的幻觉。现有的 无需训练 解码方法通常在每个解码步骤中应用校准，引入不必要的计算并可能破坏稳定的预测。我们通过识别分层犹豫来解决这个问题，这是一个简单的基础不稳定信号，由中间层词元偏好的波动反映出来。基于这一观察，我们提出了犹豫触发差分校准（HTDC），这是一种 无需训练 解码框架，它保留标准全分支推理并仅在容易犹豫的步骤激活校准。当触发时，HTDC 将整个分支与两个轻量级探针（视觉无效探针和语义无效探针）进行对比，以抑制容易产生幻觉的候选者，同时避免对稳定步骤进行不必要的干预。对代表性幻觉基准的实验表明，HTDC 能够持续减少幻觉，同时保持较高的任务准确性，从而在有效性和计算开销之间实现有利的权衡。