KGPFN：通过上下文学习释放知识图谱基础模型的潜力

知识图谱（KG）基础模型旨在通过学习可迁移的关系结构，在含有未见实体与关系的图之间泛化。然而，现有方法大多侧重关系层面的普适性，而作为基础模型另一支柱的上下文学习（ICL）在KG推理中仍未被充分探索。在KG中，上下文天然是结构化且异构的：有效预测既需要以查询实体周围的局部上下文为条件，也需要以概括某关系在大量实例中如何表现的全局上下文为条件。我们提出KGPFN，一个采用先验数据拟合网络（Prior-data Fitted Network）的KG基础模型，将可迁移的关系规律与推理时基于结构化上下文的上下文学习统一起来。KGPFN首先通过关系图上的消息传递学习关系表示，以捕捉跨图的关系不变性。在查询特定推理中，它使用多层NBFNet编码局部邻域作为局部上下文。为实现全局尺度的ICL，它通过检索查询关系的大量实例及其局部邻域来构建关系特定的全局上下文，并在结合特征级与样本级注意力的先验数据拟合网络框架内进行聚合。通过在多样化KG上的多图预训练，KGPFN学会何时实例化可复用模式、何时用上下文证据覆盖它们。在57个KG基准上的实验表明，KGPFN仅凭上下文学习即可对先前未见过的图实现强适应，持续优于有竞争力的经过微调的KG基础模型。代码已发布于https://github.com/HKUST-KnowComp/KGPFN。