CHOP：多文档上 RAG 的分块上下文保留框架

当相似文档共存于矢量数据库中时，检索增强生成（RAG）系统会失去检索准确性，从而导致不必要的信息、幻觉和事实错误。为了缓解这个问题，我们提出了 CHOP，这是一个框架，它使用 大语言模型 (LLM) 迭代评估块相关性，并通过确定文档与特定主题或查询类型的关联来逐步重建文档。 CHOP 集成了两个关键组件：CNM-Extractor，它生成紧凑的每块签名，捕获类别、关键名词和模型名称；以及连续性决策模块，它通过确定连续块是否属于同一文档流来保持上下文连贯性。通过为每个块添加上下文感知元数据前缀，CHOP 减少了相似文档之间的语义冲突并增强了 检索器 区分度。在基准数据集上的实验表明，CHOP 缓解了检索混乱，并为构建高质量知识库提供了可扩展的方法，实现了 90.77% 的 Top-1 命中率，并且在排名质量指标方面取得了显着的进步。