使用 RAG 进行财务问答的 PDF 解析和分块的实证评估

PDF 文件主要供人类阅读而不是自动处理。此外，PDF 的异构内容（例如文本、表格和图像）给解析和信息提取带来了重大挑战。为了解决这些困难，从业者和研究人员都在不断开发新方法，包括有前景的检索增强生成 (RAG) 系统和自动化 PDF 处理。然而，目前还没有全面的研究调查不同的组件和设计选择如何影响 RAG 系统理解 PDF 的性能。在本文中，我们提出这样一项研究：(1) 重点关注问答（一种特定的语言理解任务），以及 (2) 利用金融领域的两个基准，包括 TableQuest，我们新生成的公开基准。我们系统地检查多个 PDF 解析器和分块策略（具有不同的重叠），以及它们在保留文档结构和确保答案正确性方面的潜在协同作用。总的来说，我们的结果为构建强大的 RAG 管道以理解 PDF 提供了实用指南。