论文
AudioHelix:以层级双图联合检索远距离文字与声学证据
Hierarchical Dual-Graph Retrieval for Long-form Audio Reasoning
摘要
大型音频语言模型 (LALM) 难以进行长音频推理,因为处理整个录音通常会限制捕获分布在遥远片段中的查询相关内容,同时会产生大量计算成本。我们推出了 AudioHelix,这是一个专为 LALM 的检索增强生成 (RAG) 系统量身定制的分层 DualGraph 框架。与现有的纯文本或非图 RAG 方法不同,AudioHelix 将相关的文本和声学证据跨时间遥远的片段连接起来,以进行多跳推理。在 TraceAV-Bench、MMAU-Pro 和 AudioMarathon 上进行的大量实验表明,AudioHelix 的性能始终优于全音频处理和现有的 RAG 方法。项目地址是https://github.com/ewha-mmai/audiohelix.
