论文
回到基础:让对话代理通过检索和生成来记住
Back to Basics: Let Conversational Agents Remember with Just Retrieval and Generation
摘要
现有的会话记忆系统依靠复杂的层次总结或强化学习来管理长期对话历史,但随着对话的增长,仍然容易受到上下文稀释的影响。在这项工作中,我们提供了一个不同的视角:主要瓶颈可能不在于内存架构,而在于潜在知识流形内的\textit{信号稀疏效应}。通过受控实验,我们确定了两个关键现象:\textit{决定性证据稀疏},随着会话时间的延长,相关信号变得越来越孤立,导致基于聚合的方法急剧退化;和 \textit{双级冗余},会话间干扰和会话内会话填充都会引入大量非信息内容,阻碍有效生成。受这些见解的启发,我们提出了 \method,这是一种极简框架,它使会话记忆回归基础,仅依赖于通过轮次隔离检索(TIR)和查询驱动修剪(QDP)进行检索和生成。 TIR 用最大激活策略取代全局聚合来捕获回合级信号,而 QDP 则删除冗余会话和会话填充物以构建紧凑、高密度的证据集。对多个基准的大量实验表明,\ 方法在不同的设置中实现了稳健的性能,始终优于强大的基线,同时保持了词元和延迟的高效率,为会话记忆建立了新的极简基线。