通过强大的音频感知增强长篇全模态理解

大规模多模态模型的最新进展推动了视觉语言任务的显着进展；然而，全面的全模态理解仍未得到充分探索，这主要是由于缺乏具有丰富、明确对齐的听觉线索的数据集。为了弥补这一差距，我们提出了 AVDC（视听解耦描述文本），这是一个旨在解开视觉和听觉语义的大型数据集。具体来说，我们提出了一种自动化管道，利用现成的模型来用三方描述文本注释视频：仅视觉（V）、仅音频（A）和联合视听（AV）。这种解耦结构明确地捕获了特定于模态的细微差别和复杂的跨模态交互。在此基础上，我们引入了 AVDC-QA-CoT，这是一个思想链增强问答数据集，用于促进视听推理。为了充分利用这些资源，我们采用了两阶段训练范例：在 AVDC 上生成全模态描述文本 预训练，然后在 AVDC-QA-CoT 上进行指令调整。跨不同下游任务的广泛实验，涵盖视频描述文本、以音频为中心的分析和全模态基准，证明了一致且显着的性能提升，显示了我们提出的数据集和训练策略在推进全模态感知方面的有效性。代码和数据集在 https://radiant0726.github.io/AVDC-web/ 上相关。