论文

CoreMem:黎曼检索和 Fisher 引导的 蒸馏 用于对话代理中的长期记忆

CoreMem: Riemannian Retrieval and Fisher-Guided Distillation for Long-Term Memory in Dialogue Agents

摘要

个性化对话代理需要连续的长期记忆才能在多个会话中保持连贯的交互。然而,在消费级硬件(例如 8 GB VRAM 边缘设备)上部署这些功能会带来严重的内存和计算瓶颈。现有系统通常依靠各向同性余弦相似性进行检索,并依靠启发式规则进行上下文压缩。这些方法缺乏统一的理论基础,经常遭受高维检索中的枢纽性问题和压缩过程中的句法碎片问题。为了克服这些限制,我们提出了 CoreMem,一种资源高效的边缘云内存架构,从根本上通过信息几何统一。首先,黎曼检索用局部自适应 Fisher-Rao 度量代替余弦匹配,通过 Mahalanobis 距离和 O(Ndr) Woodbury 加速进行实时搜索,有效地惩罚集线器记忆。其次,Fisher 引导的离散标记 蒸馏 (FDTD) 引入了分层句子到标记压缩机制。它从 Fisher 信息跟踪中得出敏感度分数,提供原则性的压缩-KL 权衡,并辅以显式结构语法保护。根据 LOCOMO 和 LongMemEval-S 基准进行评估,CoreMem 实现了显着的准确性改进,在开放域 (+4.51 pp) 和时间 (+4.17 pp) 推理方面取得了显着的进步。广泛的分析证实,CoreMem 可在严格的 8 GB VRAM 预算内无缝运行,成功弥合了资源有限的边缘设备与理论上可靠的终身内存代理的需求之间的差距。