超图作为语言

大语言模型 (LLM) 最近在关系结构建模方面表现出了强大的潜力。然而，现有方法基本上仍然以图为中心：它们专注于将成对图结构处理为 LLM 可以理解的标记。相比之下，许多现实世界的关系模式并不自然地符合成对边缘假设，并且可以更好地建模为超图中的高阶关联。对于超图结构，现有方法通常无法保留多个对象通过相同的高阶关系共同连接的本机语义，从而限制了它们利用复杂结构的能力。为了解决这个限制，我们提出了“超图作为语言”的观点，并提出了 Hyper-Align，这是 大语言模型 的超图原生对齐框架。 Hyper-Align 将以查询对象为中心的超图上下文编译为可由基本 LLM 直接使用的超图标记。具体来说，我们引入了具有概述的超图关联细节模板（HIDT-O），它将高阶关联结构序列化为结合局部关联细节和概述级别摘要的固定形状混合模板。然后，我们设计了一个超图关联投影仪（HIP），它通过显式语义结构解耦以及顶点和超边之间的双向消息传递，将原生高阶关联结构映射到 LLM 词元空间。我们进一步定义了一个具体的超图语言输入协议，它将超图标记和文本提示联合输入到冻结的基础 LLM 中，在统一的问答范式下支持顶点级和超边级任务。为了系统地评估超图结构建模中的不同方法，我们引入了 HyperAlign-Bench。大量实验表明，Hyper-Align 在域内和零样本评估方面显着优于现有方法。