论文
用于检索增强生成的查询自适应语义分块:具有上下文窗口扩展的动态策略
Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion
摘要
检索增强生成(RAG)系统主要依赖于文档分块质量来检索相关上下文。修复了分块将文档分段为统一单元的问题,而不管语义或用户意图如何,从而产生仅通过调整块大小无法解决的精确回忆权衡。语义和代理方法部分解决了这些限制,但没有在分块阶段集成用户查询。我们提出了查询自适应语义分块(QASC),它通过三种机制将查询集成到分段中来动态构建块:句子和查询嵌入之间的余弦相似度评分以识别种子句子,种子周围的上下文窗口扩展以保持一致性,以及块级分数聚合以确保整体相关性。我们对涵盖四种类型的 200 个查询的 100 个技术文档进行了 QASC 评估,与五种粒度的固定分块、递归拆分、语义分块和代理分块进行了比较。 QASC 的 F1 分数为 0.85,比固定分块相对提高了 18-27%,比语义和代理替代方案相对提高了 8-12%。消融研究证实每个组件都有有意义的贡献。三位注释者的人工评估 (Cohen kappa = 0.82) 证实 QASC 产生比现有方法更相关、更连贯的块。