论文

地理解析:使用统一形式语言对平面和立体几何进行图解析

Geoparsing: Diagram Parsing for Plane and Solid Geometry with a Unified Formal Language

模型评测基准与评测资源

摘要

多模态 大语言模型 (MLLM) 取得了显着的进步,但在几何推理方面仍然遇到困难,这主要是由于细粒度视觉元素的感知瓶颈。虽然形式语言有助于理解平面几何,但需要空间理解的立体几何在很大程度上仍未得到探索。在本文中,我们通过设计一种集成平面和立体几何的统一形式语言来应对这一挑战,全面涵盖几何结构和语义关系。我们构建了 GDP-29K,这是一个大规模数据集,包含从不同现实世界来源收集的 20k 个平面和 9k 个实体几何样本,每个样本都与其 真值 形式描述配对。为了确保语法正确性和几何一致性,我们提出了一种训练范例,将监督 微调 与通过可验证奖励的强化学习相结合。实验表明,我们的方法实现了最先进的解析性能。此外,我们证明我们解析的形式描述可以作为关键的认知支架,显着提高 MLLM 执行下游几何推理任务的能力。我们的数据和代码可在 Geoparsing 上获取。