论文

更改偏好时的内存检索

Memory Retrieval for Changing Preferences

摘要

长上下文对话系统必须决定何时访问内存以及交互历史的哪些部分是相关的。现有方法通常依赖于启发式检索信号或始终在线的内存使用,无法考虑用户偏好的变化和潜在不一致的性质。在这项工作中,我们提出了一个基于不断变化的偏好的内存访问和选择的统一框架。我们将个性化记忆检索制定为识别哪些历史转折提供了有关用户潜在偏好状态的证据,而不是依赖于表面级别的语义相似性。为此,我们使用贝叶斯因子来量化每个记忆回合的效用,贝叶斯因子定义为当回合包含在上下文中时模型参考响应的可能性的改进。这为证据强度提供了原则性的衡量标准,并为内存访问和选择提供了统一的信号。通过将内存检索构建为效用估计,该模型学会识别显着的转弯并根据预期效用调节内存使用。对四个异构内存基准的实验表明,我们的方法在长上下文、偏好密集型任务上优于现有的基于嵌入的检索,在这些任务中,对不断变化的偏好进行建模至关重要,同时在语义相似性足够的低密度领域中保持竞争力。