学习如何从多模态经验中学习

经验驱动学习已成为一种有前景的范式，使代理能通过积累和复用过往经验从交互轨迹中改进。然而，现有方法主要在文本场景中开发，并依赖手工设计的记忆模式，限制了其在多模态环境中的适用性。在现实场景中，经验本质上是多模态的，涉及感知、推理和行动的异构信号，这使有效的记忆设计显著更具挑战性。尤其是，组织和利用多模态经验的最优方式高度依赖任务且随时间演化，使固定的记忆设计不再够用。在本工作中，我们提出一个新范式——学习如何从多模态经验中学习，它将记忆设计从预定义组件转变为自适应、可学习的过程。我们的框架使代理能根据任务需求和交互历史动态构建、组织和利用记忆，从而有效学习如何组织经验以提升性能。实验表明，自适应记忆设计显著增强了代理在多模态任务上的性能与泛化能力，凸显了学习型记忆机制在经验驱动学习中的关键作用。