GaLa：用于程序规划的超图引导视觉语言模型

对象属性中编码的隐式空间关系和深层语义结构对于具体人工智能系统的程序规划至关重要。然而，现有方法往往过度依赖视觉语言模型（VLM）本身的推理能力，而忽视了可以从多模态输入中挖掘的丰富的结构化语义信息。因此，模型很难有效地理解复杂场景中的功能空间关系。为了充分利用多模态数据中的隐式空间关系和深层语义结构，我们提出了GaLa，一种用于多模态程序规划的视觉语言框架。 GaLa 引入了基于超图的表示，其中图像中的对象实例被建模为节点，并且区域级超边是通过根据对象的属性和功能语义聚合对象来构造的。这种设计明确地捕捉了对象之间隐含的语义关系以及功能区域的层次结构。此外，我们设计了一个 TriView HyperGraph 编码器，通过对比学习强制节点视图、区域视图和节点区域关联视图之间的语义一致性，使超图语义能够更有效地注入下游 VLM 推理。 ActPlan1K 和 ALFRED 基准测试的大量实验表明，GaLa 在执行成功率、LCS 和规划正确性方面显着优于现有方法。