DeltaMem：通过强化学习实现代理内存管理

以角色为中心的记忆的最新进展揭示了多智能体系统在管理角色记忆方面的强大能力，特别是在对话场景中。然而，这些复杂的框架经常会遭受信息丢失的困扰，并且在不同的场景下都很脆弱，导致性能不佳。在本文中，我们提出了 DeltaMem，这是一种代理内存管理系统，它将以角色为中心的内存管理制定为单代理设置中的端到端任务。为了进一步提高代理内存管理器的性能，我们从人类记忆的进化中汲取灵感，合成了用户辅助对话数据集以及相应的操作级内存更新标签。在此基础上，我们引入了一种新颖的基于记忆的编辑距离来形式化记忆更新奖励，并提出了定制的强化学习框架以进一步增强 DeltaMem 的管理能力。大量实验表明，无需训练 和经过 RL 训练的 DeltaMem 在各种长期内存基准测试中都优于所有产品级基准，包括 LoCoMo、HaluMem 和 PersonaMem。