论文
SonoWorld：从一张图像到 3D 视听场景
SonoWorld: From One Image to a 3D Audio-Visual Scene
摘要
视觉场景生成方面的巨大进步现在将单个图像转变为可探索的 3D 世界，但如果没有声音，沉浸感仍然不完整。我们介绍了 Image2AVScene，即从单个图像生成 3D 视听场景的任务，并介绍了 SonoWorld，这是解决这一挑战的第一个框架。我们的管道从一张图像中绘制出 360° 全景图，将其提升为可导航的 3D 场景，放置语言引导的声音锚点，并渲染点、区域和环境源的立体混响效果，从而产生与场景几何和语义一致的空间音频。对新策划的现实世界数据集和受控用户研究的定量评估证实了我们方法的有效性。除了自由视点视听渲染之外，我们还演示了一次性声学学习和视听空间源分离的应用。项目网站：https://humathe.github.io/sonoworld/