论文
SciDiagramEdit:学习从论文修订中编辑科学图表
SciDiagramEdit: Learning to Edit Scientific Diagrams from Paper Revisions
摘要
编辑研究论文中的图表是日常研究实践中例行且耗时的一部分:作者在修改手稿时重新标记组件、重新排列面板并重新设计视觉效果。然而,在自然语言指令下自动化这个编辑工作流程是具有挑战性的,因为科学图形是一个密集的信息图表,其中原理图、图表、照片、图注和箭头等异构视觉元素在严格的视觉语法下组成,以推进特定的论点。为了解决这个问题,我们提出了 SciDiagramEdit,这是一个基准和技能进化框架,可以从自然论文修订中学习并在图形的可编辑矢量源上进行操作,用户可以在其中与代理一起检查和共同编辑单个图元。我们的基准测试从 arXiv 版本历史中挖掘前后图对,每个图都基于作者自己的修订意图。为了适应编辑指令的多样性,我们通过技能进化采用代理学习:代理提议者根据多个时期的执行跟踪不断完善代理的技能规范。由此产生的技能逐步提高了保留验证集上的编辑准确性,提供了证据表明自然论文修订是指令驱动的图形编辑的有效训练信号。