论文
超前思考:利用语言模型进行展望引导的记忆检索
Thinking Ahead: Prospection-Guided Retrieval of Memory with Language Models
摘要
长视野个性化要求对话助手从扩展的交互历史中检索特定于用户的事实。在实践中,许多相关事实在密集检索下通常与查询的语义相似度较低。标准检索增强生成(RAG)和 GraphRAG 系统在很大程度上仍然是回顾性的:它们依赖于嵌入与查询的相似性或固定的图遍历,因此它们经常会错过对用户需求重要但在嵌入空间中远离查询的事实。受到前瞻(人类使用想象的未来作为回忆线索的能力)的启发,我们引入了前瞻引导检索(PGR),它将检索与记忆存储方式分离。给定用户查询,PGR 首先将目标扩展为简短的思想树 (ToT) 或合理的后续步骤的线性链,并将这些步骤用作检索探针,而不是单独依赖于原始查询。然后,这些探测检索到的事实将用于个性化下一轮的探索,使 PGR 能够发现只有在模拟扎根于用户历史之后才变得相关的额外记忆。我们还引入了 MemoryQuest,这是一个具有挑战性的多会话基准测试,其中每个查询都用 3--5 个过时的参考事实进行注释,并受到低查询参考相似性约束。在来自 3 个公开数据集的 185 个用户配置文件的 1,625 个查询中,PGR-TOT 极大地提高了检索效率,其中 MemoryQuest 的召回率比最强基线提高了近 3 倍。在与基线的成对 LLM-as-judge 比较中,PGR 生成的响应在 89--98% 的查询中是首选,对保留子集的盲人注释显示出相同的趋势。总体而言,结果表明,相对于仅相似性基线,显式勘探在长期检索和响应质量方面产生了巨大的收益。