论文

DiagramRAG:检索科学图表以生成图形的轻量级框架

DiagramRAG: A Lightweight Framework to Retrieve Scientific Diagram for Figure Generation

上下文与知识检索增强

摘要

科学图表对于在学术论文中传达复杂的方法论至关重要。研究人员指定此类图表的一种自然方式是通过粗略的草图,其中文本标签、连接器和空间排列表达了早期的语义和拓扑意图。然而,草图通常不完整,不足以直接生成出版物质量的图表。现有的基于草图的生成方法主要重建草图本身,而最近的文本驱动图生成框架依赖于文本语义,并且没有充分利用草图中包含的拓扑结构。在本文中,我们介绍了DiagramRAG,这是一个轻量级的检索增强框架,用于基于草图的科学图表完成。给定用户草图,DiagramRAG 检索在语义上与草图内容相关且在拓扑上与其结构兼容的参考图,并使用它们来指导下游图生成。为了实现高效的结构感知检索,我们将图表表示为知识图,在不同简化级别合成草图变体,并训练嵌入模型以将草图与共享空间中的兼容图表对齐。检索到的参考进一步提供内容、拓扑和视觉先验,以完成和渲染最终图表。实验表明,DiagramRAG 在 DiagramBank 和FigureBench 上分别获得了 0.848 和 0.802 的 F1 分数,并提高了生成质量,最佳 VLM-as-a-Judge 分数为 7.170,同时将每个样本的推理延迟降低至 35.48 秒。我们的代码和数据可在 https://anonymous.4open.science/r/DiagramRAG-A262 和 https://huggingface.co/datasets/anonymous-review-a262/DiagramSketch 获取。