论文

LitSeg:文学 RAG 的叙事感知文档分割

LitSeg: Narrative-Aware Document Segmentation for Literary RAG

上下文与知识上下文工程

摘要

检索增强生成 (RAG) 通过合并外部知识来增强 大语言模型 (LLM),特别是对于文学作品等长尾领域。然而,RAG 中文档分割的关键步骤在很大程度上仍未得到充分探索。现有的策略通常要么忽视语义,要么忽视文学作品复杂的叙事结构,常常导致情节碎片化和参考文献不明确,从而阻碍检索和生成表现。为了解决这个问题,我们提出了 LitSeg,一种新颖的叙事理论引导的分割框架。通过采用多阶段提示,LitSeg 明确提取有效事件、澄清叙述结构并定位转折点以通知分段。为了减轻大规模模型多阶段推理的计算开销,我们进一步引入了 LitSeg-Lite,这是一种轻量级单通道分块器,通过两阶段训练策略对 LitSeg 生成的数据进行微调,将复杂的过程提炼为单个推理通道。大量的实验表明,与基线相比,我们的方法产生了高质量的文本块,这些文本块在叙述上是连贯且独立的。这种改进的分割质量提高了检索准确性和上下文相关性,并提高了下游 QA 性能。消融研究验证了叙述学指导和数据 蒸馏 的有效性,效率分析表明 LitSeg-Lite 以大幅降低的推理成本与教师匹配。