论文
PlanRAG-Audio：用于长格式音频理解的规划和检索增强生成
PlanRAG-Audio: Planning and Retrieval Augmented Generation for Long-form Audio Understanding
摘要
由于音频序列的长度极长，并且需要对随时间分布的异构声学线索（例如语音内容、说话者身份、情感和声音事件）进行推理，长格式音频理解对大型音频语言模型 (LALM) 提出了重大挑战。为了应对这些挑战，我们提出了 \textbf{PlanRAG-Audio}，这是一种基于规划的检索增强生成框架，用于可扩展的长格式音频理解。 PlanRAG-Audio 不是让音频 LALM 直接处理整个录音，而是明确规划给定查询所需的模式和时间跨度，并从结构化文本和音频数据库中仅检索与查询相关的信息。这种检索规划可以对复杂的跨域音频查询进行有效推理，同时大大减少传递到 大语言模型 的输入长度。广泛的语音/音频检索实验表明，随着音频持续时间的增加，PlanRAG-Audio 通过将推理成本与原始音频长度解耦，提高了推理准确性并稳定了性能。