用于编排异构语音和文本的重新排序器 检索器

检索增强生成（RAG）系统因其减轻 大语言模型（LLM）中幻觉的能力而引起了人们的极大兴趣。尽管 RAG 的知识数据库日益多样化，包括语音和文本等各种模态，但处理此类多模态数据库场景的研究仍然有限。在本文中，我们提出了 STeReO（语音和文本重新排序协调器），这是一种基于语音和文本 检索器 的重新排序器，可聚合不同的模态数据库。为了解决缺乏专门训练数据的问题，我们首先整理一个包含查询、混合模态证据及其相应相关性排名的数据集。然后，我们训练重新排序器并评估其在单模态和混合模态场景中的有效性。我们的结果表明，所提出的算法擅长选择最相关的证据，从而显着提高下游问答性能。