音视频模型中的注意力三角

音频-视频扩散模型依赖于跨模态注意力来协调文本、声音和视觉内容，但同样的机制可能会引入微妙和系统的语义泄漏。我们通过探测和分析“注意三角形”（包括连接文本、音频和视频流的三个交叉注意边）来研究这些模型，并检查语义信息在生成过程中如何跨模态路由。我们的分析表明，沿着音频-视频边缘的路由是双向的：音频可以影响视频生成，而视频可以影响音频生成。这种边缘是由模型参数中编码的偏差形成的，并成为泄漏的主要因素：当提示与学习的先验发生冲突时，跨模式交互可能会覆盖预期的条件并将语义重新路由到视觉上规范但不正确的结果。这些效应表明，语义伪影不仅源于注意力超出其预期目标，还源于沿着特定路径的结构化、偏见驱动的交互。基于这个观点，我们提取了来自注意力的信号，这些信号揭示了语义如何在模态中分布和扎根，并将它们用作诊断工具，以在受控条件下分析和故意引发泄漏。这使我们能够探究跨模式路由的内部动态并隔离个体交互的作用。我们进一步利用这些信号来指导推理时间干预，以鼓励更一致的跨模式对齐。大量的实验支持我们的分析，并证明了语义基础的改进，同时保持了生成质量。