一图胜千言？可视化金融文档检索聚合策略的实证研究

Visual RAG 提供了传统 RAG 的替代方案。它将文档视为图像并使用视觉编码器来获取视觉补丁标记。然而，每个文档的数百个补丁标记给矢量数据库中的检索和存储带来了挑战。实际部署需要将它们聚合到一个向量中。这就提出了一个关键问题：单向量聚合是否会丢失财务文件中的关键信息？我们使用财务文件开发了一个诊断基准，其中个位数的变化可能会导致重大的语义变化。我们的实验表明，单向量聚合会折叠具有几乎相同向量的不同文档。指标显示补丁级别检测到语义变化，并确认聚合掩盖了这些细节。我们将全局纹理优势视为根本原因。我们的研究结果在模型规模、检索优化嵌入和多种缓解策略方面是一致的，突出了金融应用中单向量视觉文档检索的重大风险。