论文

Graphlet作为知识图谱基础模型结构词汇的构件

Graphlets as Building Blocks for Structural Vocabulary in Knowledge Graph Foundation Models

模型架构新型架构

摘要

基础模型擅长语言(句子变成标记)和视觉(图像变成像素),因为两者都简化为共享固定网格上的离散符号。知识图共享离散性,但不共享几何形状。它们的实体和关系是离散的符号,但它们的排列是相关的,缺乏共同的、固定的网格。知识图(KG)共享离散性,但不共享几何形状。它们形成不规则的非欧几里得拓扑,其局部邻域因图而异。因此,知识图基础模型(KGFM)依赖于识别结构不变性来生成可转移的表示。如果没有通用的词元集,KGFM 在不可见的 KG 之间传输表示的能力就会受到限制。我们通过将图元(小型连通图)视为在异构知识图谱中重复出现的结构标记来缩小这一差距。在本文中,我们介绍了一种基于 graphlet 词汇表的模型无关框架,该框架通过模式匹配挖掘关系之间的知识图谱。特别是,我们考虑了封闭和开放的 2 路径和 3 路径以及星形图,以获得稳健的不变性。该框架在来自广泛领域的 51 个 KG 上进行了评估,用于零样本归纳和传导链路预测。实验表明,向词汇表中添加简单的图基会产生优于先前 KGFM 的模型。

Graphlet作为知识图谱基础模型结构词汇的构件:论文配图
图 1:KGFM 模型 Ultra+\mathrm{Ultra^{+}} 在大量 KG(包括家庭 KG)上进行预训练,将企业和学术 KG 识别为相同图基元模式的实例。