ESCUCHA：异质声学条件的西班牙语语音基准

随着大型音频语言模型 (LALM) 的进步，强大的评估框架变得至关重要。在这种背景下，现实声学条件下的西班牙语语音理解很少受到关注。我们推出了 ESCUCHA，这是第一个西班牙语语音理解基准测试，旨在评估跨异构声学条件和推理能力的 LALM。 ESCUCHA 包含 1,000 个人工策划的问题和音频，总计 162.9 小时，直接“来自野外”，而不是从现有数据集中提取，持续时间从几秒到 80 多分钟不等。该基准强调推理，涵盖 9 个感知类别和 10 个推理类别，并通过多种西班牙口音和非规范语音捕捉语言多样性。 ESCUCHA 还包括多音频问题、口语问题和音频说明，并标记哪些问题支持开放式评估。对几种最先进的多模态和语音模型进行基准测试显示，与经过训练的人类相比，存在巨大的性能差距。