ChartWalker：使用分层知识图对跨图 RAG 任务进行基准测试

跨图检索增强生成 (RAG) 对于科学、商业和政治领域的复杂多模态分析任务至关重要。然而，现有的基准要么专注于结构良好且文本化的表格，要么通过简单地提取关键点来生成跨图表问题，这通常会导致查询和证据之间的词汇重叠，并产生逻辑上不一致的推理链。为了解决这个问题，我们引入了 ChartWalker，这是一个用于构建具有挑战性的跨图表 RAG 任务的新颖框架。 ChartWalker 具有针对图表量身定制的分层知识图构建方法，该方法按粒度组织实体和关系以保留分析结构。然后，我们提出了一种结构感知采样算法，该算法可以合成语义连贯的多跳推理路径，从而能够显式控制查询难度和 QA 生成的粒度。基于此框架，我们发布了 ChartWalker-Bench，这是一个涵盖不同领域和跨图表查询类型的综合基准测试。对主要 RAG 范式的广泛评估揭示了显着的性能差距，强调了基准测试的难度和实用性。此外，我们还提供 ChartWalker-Agent，这是一个代理基线，可以促进分析并激发未来的系统设计。