论文
RMS-AQA：真实家庭环境的两阶段空间音频问答基准
RMS-AQA: A Two-Stage Spatial Audio Question Answering Benchmark for Real-World Domestic Environments
摘要
家庭环境中的实体助理必须推断发生了什么、发生的地点和时间以及如何应对。为了解决这个问题，我们引入了 RMS-AQA，这是一种针对真实家庭环境的空间音频问答 (SAQA) 基准。该基准测试采用两阶段问答 (QA) 格式，全面评估音频语言模型 (ALM) 首先grounding可听声音事件，然后基于该grounding执行复杂时空推理的能力。为了最大限度地提高声学真实感，我们的数据集将真实的真实世界一阶高保真度立体声响复制 (FOA) 录音与使用测量的房间脉冲响应 (RIR) 生成的高保真合成数据相结合。此外，我们提供了一个轻量级空间插件，可将 FOA 格式数据注入冻结的音频语言主干中。实验结果表明，主要挑战源于并发源、远距离以及 RIR 合成和真实录音之间的模拟与真实域差距。