论文

Geo-Code:面向几何图像逆向代码生成、基于两阶段多智能体演化的代码框架

Geo-Code: A Code Framework for Reverse Code Generation from Geometric Images Based on Two-Stage Multi-Agent Evolution

智能体系统Agent 架构与控制循环

摘要

程序代码是连接视觉与逻辑的桥梁,通过辅助线构造与透视变换等几何操作,为增强大模型的多模态推理能力提供了一种可行的监督方法。然而,当前的逆图形学方法在精确重建复杂几何细节方面面临巨大挑战,常导致关键几何约束丢失或结构失真。为突破这一瓶颈,我们提出Geo-coder——首个基于多智能体系统的几何图像逆向编程框架。我们的方法创新性地将该过程解耦为基于像素级锚定的几何建模与度量驱动的代码演化:阶段1利用视觉算子与大模型的互补优势,实现对像素坐标与视觉属性的精确捕捉;阶段2引入合成-渲染-验证闭环,由双向视觉反馈驱动代码的自我修正。大量实验表明,Geo-coder在几何重建精度与视觉一致性上均取得显著领先。值得注意的是,通过有效保留核心几何语义,用我们方法重建的图像在多模态推理任务中表现出与原图像相当的性能,充分验证了框架的鲁棒性。最后,为进一步降低研究成本,我们开源了基于GeoCode框架构建的Geo-coder数据集,其中包含超过1,500个样本。在此基础上,我们还开源了GeocodeLM模型,为该领域的后续研究奠定了坚实的数据与模型基础。

Geo-Code:面向几何图像逆向代码生成、基于两阶段多智能体演化的代码框架
图2:Geo-code 框架分两个策略阶段运行。阶段 1(基于锚定的几何建模,Geometric Modeling via Anchoring)先由 Geometric Extraction Agent(1.2)通过 Pixel-wise Anchoring 导出几何属性,随后由 Visual Verification Agent(1.3)合成骨架。阶段 2 将该骨架转化为可执行代码,并利用 Hybrid Inspection 与 Reflective Correction Agents(2.2),借助 Code Evolution via Visual Error Projection 机制迭代细化输出,以实现精确对齐。