论文
具体化为可迁移词汇:使用 Vanilla GNN 进行零样本链接预测
Reification as a Transferable Vocabulary: Zero-Shot Link Prediction with Vanilla GNNs
摘要
诸如 ULTRA 之类的知识图基础模型通过对传输机制进行硬编码的专用架构,实现了对不可见图的零样本链接预测。在这项工作中,我们通过\emph{具体化}输入图,将该机制从架构中移出并转移到表示中:每个事实都成为一个节点,通过六个元关系的固定词汇表连接到其主题、对象和关系类型,其中关系类型作为匿名共享节点而不是模型参数。在此表示中,五个教科书 GNN(GAT、带有求和和均值+最大聚合的 GINE、GraphSAGE、R-GCN),每个在一台 NVIDIA A100 上对包含 4,245 个三元组的单个知识图进行 30 分钟的训练,将零样本转移到 40 个归纳链路预测基准。其中最好的一个是现成的 GAT,它与 ULTRA 相匹配,ULTRA 是一个在 ULTRA 自己的评估套件中在三个图上进行预训练的专用基础模型。相同的固定词汇表扩展到关系数据库,行成为实体,外键列成为关系类型;对两个看不见的数据库(没有单元格值、模式文本或上下文标签)的初步探索显示了该家族的模型,该模型在三个知识图上进行了预训练,其外键目标的排名远远高于随机初始化和程度控制。我们发布了所有 40 个基准测试的代码、检查点和评估管道。