MemoType：按记忆与查询类型选择检索策略

大型语言模型（LLM）的记忆能力最近引起了越来越多的关注。尽管取得了巨大的成功，但现有的基于检索的记忆方法通常会忽略记忆之间的差异，并采用统一的策略来处理所有记忆，从而导致性能不佳。于是，一个直观的问题出现了：我们能否将记忆分为不同类型并选择合适的策略？然而，鉴于记忆场景主题丰富、场景复杂、边界模糊的特点，实现记忆的精确分类并不容易。为了应对这一挑战，我们在本文中提出了一个记忆多类数据集，称为 TriMEM，它为不同场景下的记忆类型提供了精确的注释。在此基础上，我们提出了一种新颖的记忆框架，名为 MemoType，它可以通过学习的路由器模型自适应地识别每种记忆和查询类型。通过记忆和查询路由，MemoType可以检索具有相应查询类型的记忆并设计定制的检索策略，从而增强 检索性能。此外，我们从理论上证明，任何单一检索策略在多类语料库中的预期检索精度都会受到基本上限的影响，从而导致系统性的精度下降。对三个数据集的大量实验表明，MemoType 始终优于现有方法，在 Recall@1 中实现了高达 16.18% 的改进。