从历史行动轨迹中学习技能：世界行动模型的行动经验词典

世界动作模型（WAM）将视觉动态预测与动作生成结合起来，但它们并不明确支持跨操作任务重用动作体验。此外，现有的 WAM 很难捕获可以指导目标动作预测的潜在跨任务语义关系，因为冗余的背景元素会干扰关键视觉信息的提取。为了应对这些挑战，我们开发了一种新颖的动作体验字典（AED），它将历史物理动作轨迹编码为共享动作嵌入，以支持技能重用和跨任务关系建模。具体来说，我们首先聚合历史动作以与视觉观察保持一致，并使用预训练的动作标记器从 AED 检索动作嵌入。随后，我们通过交叉注意力直观地调节池化嵌入，并将它们添加到噪声动作标记中，为预测提供交互上下文和动作意图。为了对与动作相关的运动进行建模并减少对不相关背景线索的依赖，我们引入了运动感知转换损失，该损失可以监督随机时间间隔内的视觉特征变化预测。模拟基准和现实世界跨具身平台设置的实验验证了我们的 AED 的有效性。项目代码可在 https://github.com/JiahuaDong/AED 获取。