ADAPT：注意力动态调整与忠实 MLLM 的偏好调整

多模态 大语言模型 (MLLM) 受到幻觉的严重阻碍，生成与所提供图像不一致的内容。在本文中，我们确定了幻觉的一个内部特征：在生成过程中文本到图像的交叉注意力逐渐退化，导致特定的失败模式，例如注意力不集中或有偏见。现有的缓解策略主要是结果驱动的，并没有明确针对这种故障模式。为了解决这个问题，我们提出了 ADAPT（注意力动态调整与偏好调整），这是一种基于注意力的框架，直接干预文本到图像的交叉注意力动态。我们提出了具有三个关键贡献的 ADAPT：从早期解码中提炼出来的交叉注意力视觉锚点，以提供稳定的空间定位依据、在线检测和纠正注意力漂移的注意力监督推理机制，以及将偏好与视觉基础响应对齐的视觉注意力引导 DPO。实验表明，ADAPT 的每个组件都有助于减少幻觉，整个框架在多个幻觉基准上取得了新的最佳结果，将主流主干网的幻觉率降低了 40%-60%，同时保留了一般的多模态能力。我们的工作通过探索模型的内部文本到图像交叉注意行为，提供了一种基于注意力的视角来减轻幻觉。代码可在 https://github.com/yao-ustc/ADAPT 获取