论文

DYNA:动态情景记忆网络,用于在连续学习中使用时态知识图增强 大语言模型

DYNA : Dynamic Episodic Memory Networks for Augmenting Large Language Models with Temporal Knowledge Graphs in Continuous Learning

上下文与知识知识图谱

摘要

大语言模型 (LLM) 努力在不忘记或昂贵的再培训的情况下融入新知识。我们提出了 DYNA,这是一个轻量级框架,它使用时间知识图来增强冻结的 LLM,其中事件是节点,时间关系是有向的、带时间戳的边。该图充当外部、可更新的存储器。在查询时,DYNA 通过随机游走和中心性度量检索相关节点,然后增强 LLM 的响应。在三个时间回忆任务上进行评估,与 微调 相比,DYNA 将灾难性遗忘减少了约 7%,并且比标准 RAG 将时间排序提高了约 5%。较高的图聚类系数与更好的检索相关,这表明图结构很重要。贡献:(1)情景记忆作为时间 KG,(2)无需再训练的 LLM 增强,(3)图属性作为检索性能的预测因子。