论文

GS-Quant:面向知识图谱补全的细粒度语义与生成式结构量化

GS-Quant: Granular Semantic and Generative Structural Quantization for Knowledge Graph Completion

上下文与知识知识图谱

摘要

大语言模型(LLM)在知识图谱补全(KGC)中展现出巨大潜力,然而弥合连续图嵌入与离散LLM token之间的模态鸿沟仍是一个关键挑战。尽管近期基于量化的方法试图对齐这两种模态,它们通常将量化视为扁平的数值压缩,导致语义纠缠的编码无法映照人类推理的层次性。本文提出GS-Quant,一个为KG实体生成语义连贯、结构分层的离散编码的新框架。与以往方法不同,GS-Quant立足于如下洞察:实体表示应遵循语言学上从粗到细的逻辑。我们引入细粒度语义增强(Granular Semantic Enhancement)模块,向码本注入层次化知识,确保前面的编码捕获全局语义类别,后面的编码细化具体属性。此外,生成式结构重构(Generative Structural Reconstruction)模块对编码序列施加因果依赖,将相互独立的离散单元转化为结构化的语义描述符。通过用这些学到的编码扩展LLM词表,我们使模型能够以与自然语言生成同构的方式对图结构进行推理。实验结果表明,GS-Quant显著优于现有基于文本和基于嵌入的基线。我们的代码已在 https://github.com/mikumifa/GS-Quant 公开。

GS-Quant:面向知识图谱补全的细粒度语义与生成式结构量化:论文配图
图 2:GS-Quant 框架概述。管道首先构建层次结构树。然后,它使用残差量化对实体进行离散化,并通过粒度语义增强进行优化以实现结构一致性。随后,生成结构重建模块采用 GPT 风格的 Transformer 解码器来捕获上下文和跨级别交互。最后,将学习到的代码集成到LLM中。