PEAM：在Minecraft中通过经验的对比内化实现参数化具身代理记忆

我们提出 PEAM，一个 Minecraft 中的参数化具身代理记忆（Parametric Embodied Agent Memory）框架，它把代理记忆从推理时检索转变为通过经验内化的参数驻留技能。PEAM 把一个用于开放式推理的慢速深思型 LLM 与一个用于已固化技能反射式执行的快速参数模块配对。快速模块是一个多模态专家混合（MoE）LoRA 架构，具有按类别物理隔离的适配器，从而实现无灾难遗忘的参数级持续学习。我们把失败当作一等训练信号：失败-纠正轨迹对通过行为克隆与对比目标的联合训练被内化，因此代理不仅学到什么会成功，还学到纠正后的动作与失败动作有何不同。为治理固化过程，PEAM 引入参数化价值分数来决定哪些经验应被内化，并引入无标度的自触发固化机制来决定何时内化，无需任务特定的手工调阈值；由于触发器可跨任务分布迁移而无需重新调参，代理得以自我演化。在 Minecraft 中的实验表明，PEAM 提升长时程任务表现，缓解对已固化技能的遗忘，并且在参数化相对检索的效率上优于基于检索的具身代理和参数记忆变体。