论文
GRATE:经门控旋转注意力为归纳式知识图谱基础模型增加时间扩展
GRATE: Temporal Extensions for Inductive KG Foundation Models via Gated Rotary Attention
摘要
Ultra与Trix等知识图谱基础模型通过学习可泛化到未见实体与关系的关系图表示,实现强归纳迁移。把这种可迁移性扩展到时序知识图谱(TKG)仍具挑战:既有时序模型把参数绑定到数据集专属的实体、关系或时间戳,并非为迁移到词汇不相交的TKG而设计。我们提出GRATE(门控旋转注意力时间编码):一个实体侧消息函数,不增加可学习参数,经相对时间差编码时间——按每条边消息与查询的时间差旋转之,并以查询条件门选择时间相关信号。GRATE集成进NBFNet式KG基础模型并保持结构可迁移性。既有TKG基准在共享训练/测试词汇内评估、无法直接检验跨数据集时间迁移;因此我们构建GDELTIndT与WIKIIndT——带不相交实体、关系与时间戳、覆盖内插与外推的归纳迁移基准套件。在这些基准与留出预测数据集上:单个联合预训练的GRATE检查点在多数设定下超过静态基座模型。