论文
弥合检索增强生成中的问答差距:假设的提示嵌入
Bridging the Question-Answer Gap in Retrieval-Augmented Generation: Hypothetical Prompt Embeddings
摘要
检索增强生成(RAG)系统将检索机制与生成语言模型相结合,以提高响应的准确性和相关性。然而,弥合用户查询和文档文本中的相关信息之间的风格差距仍然是检索增强系统中的一个持续挑战,通常通过运行时解决方案(例如假设文档嵌入(HyDE))来解决,这些解决方案试图改进对齐但在查询时引入额外的计算开销。为了应对这些挑战,我们提出了假设提示嵌入(HyPE),这是一个将假设内容的生成从查询时间转移到索引阶段的框架。通过为每个数据块预先计算多个假设提示并嵌入该块来代替提示,HyPE 将检索转换为问题-问题匹配任务,从而绕过了运行时合成答案生成的需要。这种方法不会引入延迟,而且还加强了查询和相关上下文之间的一致性。我们在六个常见数据集上的实验结果表明,与标准方法相比,HyPE 可以将检索上下文精度提高高达 42 个百分点,召回率提高高达 45 个百分点,同时保持与重新排序、多向量检索、查询分解和其他 RAG 进步的兼容性