论文

PraMem:用于长期行为预测的实践衍生的经验记忆

PraMem: Practice-derived Experiential Memory for Long-horizon Behavior Prediction

摘要

长视野行为预测旨在根据漫长的历史序列推断用户的下一步行动,在人工智能领域发挥着至关重要的作用。 大语言模型 (LLM) 的兴起为顺序行为预测提供了一个有希望的方向,但 LLM 在处理长期行为预测时却面临着潜在行为模式归纳和模型内在认知偏差的困扰。先前的内存管理方法遵循上下文压缩范例,试图通过减轻历史序列负担来解决此任务,但未能解决核心挑战。在本文中,我们提倡一种范式转变,将冗长的历史序列从负担重新构建为可供利用的宝贵资源,并相应地提出了PraMem,它对冗长的历史序列进行事前练习以建立经验记忆,从而作为准确的长期行为预测的辅助输入。跨不同任务的大量实验表明,PraMem 比之前的方法具有更优越的性能,更深入的分析为体验记忆的机制和演化提供了有价值的见解。代码:https://github.com/icip-cas/PraMem。