Tora3：具有物理相干性的轨迹引导音频视频生成

音视频 (AV) 生成最近在感知质量和多模态一致性方面取得了长足进步，但生成具有可信运动声音关系的内容仍然具有挑战性。现有方法通常会产生视觉上不稳定的对象运动以及仅与显着运动或接触事件松散对齐的声音，这主要是因为它们缺乏视频和音频生成共享的明确运动感知结构。我们提出了 Tora3，一种轨迹引导的 AV 生成框架，它通过使用对象轨迹作为共享运动学先验来提高物理一致性。 Tora3 没有将轨迹视为纯视频控制信号，而是使用它们来共同引导视觉运动和声音事件。具体来说，我们设计了视频的轨迹对齐运动表示、由轨迹导出的二阶运动学状态驱动的运动学音频对齐模块，以及混合流匹配方案，该方案在轨迹条件区域中保持轨迹保真度，同时在其他地方保持局部连贯性。我们进一步策划了 PAV，这是一个大规模的 AV 数据集，强调与运动相关的模式以及自动提取的运动注释。大量实验表明，与强大的开源基线相比，Tora3 提高了运动真实感、运动声音同步和整体 AV 生成质量。项目页面：https://ali-videoai.github.io/tora3_page。