论文
检索增强生成的分块方法 - 针对计算成本和局限性的有效性评估
Chunking Methods on Retrieval-Augmented Generation - Effectiveness Evaluation Against Computational Cost and Limitations
摘要
检索增强生成 (RAG) 在增强 大语言模型 (LLM) 性能方面表现出了显着的能力。 RAG 系统的关键任务之一是分块过程。传统上，固定大小分块和语义分块一直是标准方法。然而，人们对分块策略的兴趣不断增加，导致越来越多的方法被提出，这些方法通常声称比这些传统技术具有更高的性能。其中许多方法都是针对特定用例和数据类型量身定制的，但其在不同场景中有效性的证据有限。因此，直接比较不同的技术并评估它们的相对优势仍然具有挑战性。据我们所知，这项研究首次系统地评估了各种分块方法的有效性，并强调了 RAG 系统中分块策略的潜在挑战。虽然分块通常被视为一个简单的预处理步骤，但我们表明它引入了一系列有影响且经常被忽视的问题。