FoleyDesigner：为电影剪辑提供精确时空对齐的沉浸式立体声拟音生成

拟音艺术在增强电影中的沉浸式听觉体验方面发挥着关键作用，但手动创建时空对齐的音频仍然是劳动密集型的。我们提出了 FoleyDesigner，这是一个受专业 Foley 工作流程启发的新颖框架，集成了影片剪辑分析、时空可控 Foley 生成和专业音频混合功能。 FoleyDesigner 采用多代理架构进行精确的时空分析。它通过对从视频帧中提取的时空线索进行训练的潜在扩散模型来实现时空对齐，并结合 大语言模型 (LLM) 驱动的混合机制来模拟电影行业的后期制作实践。为了解决电影中缺乏高质量立体声音频数据集的问题，我们推出了 FilmStereo，这是第一个专业立体声音频数据集，其中包含八个常见 Foley 类别的空间元数据、精确时间戳和语义注释。对于应用程序，该框架支持交互式用户控制，同时保持与专业管道的无缝集成，包括符合 ITU-R BS.775 标准的 5.1 声道杜比全景声系统，从而提供广泛的创意灵活性。大量实验表明，与现有基线相比，我们的方法实现了卓越的时空对齐，并且与专业电影制作标准无缝兼容。该项目页面位于 https://gekiii996.github.io/FoleyDesigner/ 。