实用意图中的记忆总结基础

现有的记忆系统摘要器通常针对面向人类的标准（例如忠诚度）进行优化，这与它们的真正目标不一致：保留支持未来查询所需的证据。我们表明，对查询-答案对的条件总结大大提高了答案质量，并且这种效用感知行为可以跨查询转移。受这些发现的启发，我们提出了 MemSuit，这是一种自我蒸馏框架，在该框架中，教师总结者以观察到的查询-答案对为条件，生成实用程序感知的记忆条目，学生可以学习仅从原始对话中复制这些条目。为了防止对单个查询-答案对的条件丢弃与其他看似合理的查询相关的证据的附带擦除，教师将每个块分解为多个独立的条目，这些条目将不同的查询相关方面保留为独立的可检索单元。为了使检索器与教师条目的紧凑、事实密集的风格保持一致，我们通过教师条目监督的对比目标进一步微调嵌入模型。在各种对话查询类型中，MemSuit 始终优于最先进的基线，证实了基础记忆在下游实用程序中的价值。