无需训练 VLM 幻觉缓解的频谱查询关键产品权重指导

视觉语言模型 (VLM) 通常会生成流畅但视觉上不受支持的描述，尤其是在提及图像中不存在的对象时。我们提出了 QK Product Steering，一种无数据、无需训练 和零推理成本权重编辑，用于减少对象幻觉。该方法通过抑制所选中间层中的少量主导奇异模式，直接编辑每个头的查询键产品，即产生前 softmax 注意力 logits 的运算符。然后，编辑后的产品通过封闭形式的仅查询更新映射回查询权重，同时保持共享键权重固定，从而使编辑与分组查询注意力兼容。我们进一步将 QK 产品分解为对称和反对称分量，以区分相互的内容相似性模式和方向性注意力模式。在三个基于 GQA 的 VLM 中，QK Product Steering 实现了平均相对 CHAIR$_s$ 减少 $4.0\%$，而匹配的随机模式控件显示的变化可以忽略不计。可解释性消融表明，幻觉信号特定于主要的 QK 模式，并且主要局限于对称的相互注意力通道。总体而言，QK Product Steering 为缓解解码时间提供了一种简单的替代方案，不需要额外的数据、微调 或推理时间开销，同时在很大程度上保留了一般的多模态功能。