沙丘社区
论文

带长期记忆的探索：面向具身探索的基准与基于多模态 LLM 的强化学习框架

Explore with Long-term Memory: A Benchmark and Multimodal LLM-based Reinforcement Learning Framework for Embodied Exploration

Sen Wang, Bangwei Liu, Zhenkun Gao, Lizhuang Ma, Xuhong Wang, Yuan Xie, Xin Tan
模型训练上下文与知识智能体系统强化学习记忆Agent任务评测Agentic RLAgent记忆长程任务评测

摘要

理想的实体智能体应具备终身学习能力，能够处理长期和复杂的任务，从而能够在一般环境中持续运行。这不仅要求智能体准确地完成给定的任务，还需要利用长期情景记忆来优化决策。然而，现有的主流一次性体现任务主要关注任务完成结果，忽略了探索和内存利用的关键过程。为了解决这个问题，我们提出了长期记忆体现探索（LMEE），旨在统一智能体的探索性认知和决策行为，以促进终身学习。我们进一步构建了相应的数据集和基准LMEE-Bench，结合多目标导航和基于记忆的问答来全面评估体现探索的过程和结果。为了增强智能体的记忆回忆和主动探索能力，我们提出了 MemoryExplorer，这是一种通过强化学习微调多模态大语言模型以鼓励主动记忆查询的新方法。通过结合包括动作预测、前沿选择和问题回答在内的多任务奖励函数，我们的模型实现了主动探索。针对最先进的具体探索模型的大量实验表明，我们的方法在长期具体任务中取得了显着的优势。

带长期记忆的探索：面向具身探索的基准与基于多模态 LLM 的强化学习框架
图3：MemoryExplorer 训练示意图。给定任务指令、多视角观察与一个面向目标的问题。模型使用工具从情景记忆库（episodic memory bank）检索相关的多模态记忆，将当前信息与检索到的记忆一并分析以理解长期任务的进展，并执行 ACTION 预测、FRONTIER 选择与问题 ANSWER。策略模型输出的响应使用 Multi-Task Reward 函数计算奖励，并通过 GRPO 进行微调。