论文
ArborMem:导航与内存森林的交互状态
ArborMem: Navigating Interaction States with Memory Forests
摘要
大语言模型 越来越多地充当持久的会话助手,需要能够保留相关体验并保持交互连续性的内存。现有方法通过长上下文处理、选择性检索和结构化记忆组织来改善对对话历史的访问。然而,大多数系统将内存访问视为检索相关的过去信息,而不首先确定当前回合恢复哪个先前的交互状态。当对话交织多个任务、人员和可能被中断并稍后重新访问的计划时,这种限制变得尤为重要。我们介绍 ArborMem,一个在线内存框架,它将长时间运行的对话表示为可导航的交互状态森林。每个分支都保留了局部一致的轨迹,而森林则保留了多个轨迹,这些轨迹稍后可能会恢复。对于每个新输入,ArborMem 都会本地化相关状态,恢复其分支本地上下文,并使用跨分支检索的可重用证据对其进行增强,从而保持交互连续性,而不会混淆语义相关但结构不同的轨迹。现有的长期记忆基准测试涵盖了不同的记忆和推理能力,但没有明确隔离分支结构的挑战。因此,我们引入了 BranchMemEval,这是一种用于交错和可恢复交互轨迹的受控诊断基准。 LongMemEval、LoCoMo、BEAM 100K 和 BranchMemEval 上的实验表明,ArborMem 在三个已建立的基准上比最强基线高 3.36 到 10.31 个百分点,在 BranchMemEval 上比最强基线高 5.0 个百分点。它的优势在有限的读取预算下不断增强,而完整的内存查询仍低于半秒。