论文

3DAE:使用空间地图和基准进行音频小说视图合成的双耳质量评估

3DAE: Binaural Quality Assessment for Audio Novel View Synthesis with Spatial Maps and Benchmark

模型评测基准与评测资源

摘要

3D 音频和新颖视图声学合成模型通常使用全局指标进行评估。然而,全局指标通常隐藏双耳预测失败的位置和原因。我们提出了一个全参考诊断框架,该框架使用时频音频误差图来表示幅度、ILD、IPD、时间对齐、响度和高频故障,形成用于视觉检查的 3D 音频误差图(3DAE 图)。我们将这些诊断构建到与模型无关的基准 Spatial Audio Error Bench (3DAE Bench) 中,它采用任意 真值 和预测的双耳对,并报告音频小说视图合成模型的预测质量。 Replay-NVAS 和 SoundSpaces 上的 ViGAS 输出实验显示了不同的主要故障模式:Replay-NVAS 上的时间错位和 SoundSpaces 上的 ILD 失配。总体而言,该框架为音频新颖视图合成模型开发优化提供了可解释的故障模式摘要和直观的视觉图。