通过块过滤减少检索增强生成中的冗余

标准检索增强生成 (RAG) 分块方法通常会产生过多的冗余，从而增加存储成本并减慢检索速度。本研究探索了块过滤策略，例如语义、基于主题和基于命名实体的方法，以减少索引语料库，同时保持检索质量。在多个语料库上进行实验。使用基于标记的框架根据精度、召回率和交并集指标来评估检索性能。结果表明，基于实体的过滤可以将向量索引大小减少约 25% 到 36%，同时保持接近基线的高检索质量。这些发现表明，通过轻量级过滤可以有效减少分块过程中引入的冗余，从而提高 RAG 管道中面向检索的组件的效率。