评估石油和天然气企业文档中检索增强生成的分块策略

检索增强生成 (RAG) 已成为解决 大语言模型 (LLM) 约束的框架。然而，其有效性从根本上取决于文档分块——这是其质量的一个经常被忽视的决定因素。本文提出了一项实证研究，量化了四种分块策略的性能差异：固定大小的滑动窗口、递归、基于断点的语义和结构感知。我们使用石油和天然气企业文档的专有语料库评估了这些方法，包括文本型手册、表格型规格以及管道和仪表图（P 和 ID）。我们的研究结果表明，结构感知分块可产生更高的整体检索效率，特别是在前 K 个指标中，并且与语义或基线策略相比，计算成本显着降低。至关重要的是，所有四种方法都在 P 和 ID 上表现出有限的有效性，强调了视觉和空间编码文档中纯基于文本的 RAG 的核心局限性。我们的结论是，虽然显式结构保存对于专业领域至关重要，但未来的工作必须整合多模态模型以克服当前的限制。