论文

图表:图表 QA 中推理级归因的审查框架

DIAGRAMS: A Review Framework for Reasoning-Level Attribution in Diagram QA

AI 基础设施数据基础设施

摘要

图表问答(图表 QA)需要推理级别的归因,将每个问答对链接到导出答案所需的所有视觉区域,而不仅仅是包含最终响应的区域。跨图表、图表、地图、电路和信息图表创建此类结构化证据非常耗时,并且现有注释工具将其接口与数据集特定格式紧密耦合。我们提出了 DIAGRAMS,这是一个轻量级的、模式驱动的审查框架,它通过内部元模式和数据集适配器将接口逻辑与数据集特定的 JSON 结构解耦。给定图像和 QA 对以及可选候选区域,系统执行 QA 条件证据选择并提出推理所需的区域。当 QA 对或候选区域丢失时,它会生成它们并支持人工验证和细化。在六个图 QA 数据集中,模型建议的证据相对审稿人最终选择(微平均)实现了 85.39% 的精确度和 75.30% 的召回率。这些结果表明,审查优先框架减少了手动区域创建,同时与最终推理级别归因保持高度一致。我们发布了一个公共演示和可安装包来支持数据集审计、证据定位监督创建和证据定位评估。