用于长上下文建模的知识图增强记忆增强检索

长上下文语言建模不仅需要扩展上下文窗口，还需要保持对数千个标记之间的实体状态和关系的连贯理解——这是仅靠语义相似性无法解决的挑战。 KGERMAR 通过在推理过程中根据输入文本构建动态的、特定于上下文的知识图来解决这个问题，从而实现利用语义相似性和显式实体关系的领域自适应检索。该框架执行实时实体和关系提取以构建上下文知识图，然后通过多组件内存架构将图结构嵌入与文本语义集成。三个记忆库——上下文记忆库、语义记忆库和结构记忆库——通过学习权重融合的检索信号来维护，以捕获表面语义和更深层次的关系模式。在 SlimPajama（84.7K 训练示例）、WikiText-103（4,358 个示例）、PG-19（100 个示例）和 Proof-pile（46.3K 个示例）上进行评估，KGERMAR 在 1K 到 32K 词元的上下文长度中，与内存增强基线相比，困惑度降低了 8.5%，内存效率提高了 2--2.5 倍，在五个 NLU 任务中具有卓越的情境学习性能。动态知识图构建方法通过实现适应输入上下文而不是依赖于固定知识库的特定领域知识表示来推进记忆增强语言建模。