超越注意力不平衡​​：通过光谱手术减轻幻觉

虽然大视觉语言模型 (LVLM) 取得了显着的成功，但幻觉仍然是其可靠部署的重大障碍。最近的研究主要将这些问题归因于跨模式注意力不平衡​​；因此，大多数解决方案侧重于重新加权视觉标记或抑制语言先验。然而，此类方法常常忽视视觉信息流的光谱特征，并且经常依赖对比解码（CD），这会使推理时间加倍。我们没有遵循传统的方法，而是识别了两种不同的幻觉模式——知觉语义分离和局部固定——并提出了 FLASH（频率局部注意力整形），这是一个免训练、免 CD 的框架。 FLASH 利用光谱涡分数来检测多头注意层中的视觉头，并应用自适应光谱调制来纠正解码过程中的视觉信息流。实证结果表明，与 SOTA 方法相比，FLASH 在性能和效率之间实现了卓越的平衡。