论文

MemWM:记忆增强的文本世界模型

MemWM: Memory-Augmented Text-Based World Model

上下文与知识记忆Agent记忆

摘要

世界模型越来越多地被用于支持智能体规划,通过预测环境状态如何随智能体动作而演化。然而,流畅的下一状态预测仍可能遗漏任务关键事实、损坏商品属性或应用错误的转移规则。为解决这类系统性预测错误,我们提出MemWM,一个记忆增强的文本世界模型。MemWM使用世界记忆——一个经整理的、存储转移规则、状态缓存与难预测事实的记忆库——来约束下一状态的想象。我们用结构化状态保真度(SSF)评估事实性状态保持,该指标通过基准特定的事实与字段为预测状态打分。与SFT相比,记忆增强训练将SSF最高提升206.3%。在完整规划设置中,我们保持策略模型冻结,并提供策略侧世界技能:检索到的任务级技能与用于动作选择的逐步纠正指导。在ALFWorld、WebShop与ScienceWorld上,记忆增强智能体相比SFT训练的世界模型智能体提升了下游成功率,相对增益最高达65.4%。敏感性分析进一步表明,在不同的记忆与动作预算设置下,检索到的记忆均能提升任务成功率与效率。

MemWM:记忆增强的文本世界模型:论文配图
图1:世界建模中状态保真度瓶颈的示意图。上:给定当前状态s_t和动作a_t,没有检索记忆的世界模型可能产生流畅但低保真的下一状态,出现物体幻觉、遗漏任务相关事实,或应用错误的转移规则。下:通过检索精选的世界记忆,MemWM使预测以相关的状态缓存、转移规则和难以预测的事实为条件,产生更接近真值s_{t+1}的想象状态。