SproutRAG：针对长文档 RAG 的带有渐进式嵌入的注意力引导树搜索

检索增强生成 (RAG) 系统必须平衡检索粒度与上下文连贯性，这是现有方法通过 LLM 引导的分块、单级上下文扩展或分层摘要来解决的挑战。这些方法不同地依赖于索引或检索期间昂贵的 LLM 调用，将上下文聚合限制为单个粒度级别，或者通过摘要引入信息丢失。我们提出了 SproutRAG，一种注意力引导的分层 RAG 框架，它通过将句子级块组织成逐渐变大但语义连贯的单元，并使用学习到的句子间注意力构建二元分块树来解决这种权衡。与依赖外部 LLM、固定上下文扩展或有损摘要的先前方法不同，SproutRAG 学习哪些注意力头和层最能捕获语义文档结构，从而无需额外的 LLM 调用或压缩摘要即可实现多粒度检索。在检索时，SproutRAG 使用分层波束搜索来检索多个粒度的候选者，捕获超越平面检索的多句子相关性。该框架经过端到端训练，其共同目标是改善嵌入和树结构。跨越科学、法律和开放领域设置的四个基准的实验表明，与最强基准相比，SproutRAG 平均将信息效率 (IE) 提高了 6.1%。代码可在 https://github.com/AmirAbaskohi/SproutRAG 上获取。