论文
CoRe-WAM:世界行动模型的对应对齐时间残差
CoRe-WAM: Correspondence-Aligned Temporal Residuals for World Action Models
摘要
比较当前和过去的观察结果有助于机器人了解场景变化并在操作过程中选择后续动作。然而,当物体或相机移动时,比较同一图像位置的视觉特征可能会混合不同的场景内容。我们引入了 CoRe-WAM,这是一种世界动作模型,它通过参数高效的时间接口结合了对应对齐的视觉变化。其 TraceDelta 模块使用来自冻结跟踪模型的对应关系将历史视觉特征传输到当前位置,然后计算共享预训练特征空间中的符号差异。因此,对应性决定了哪些历史内容与现在进行比较,而不是作为单独的轨迹表示进入政策。轻量级适配器将这些差异转换为有效性门控残差,以补充当前的视觉调节,从而允许策略使用最近的变化以及当前场景信息。 CoRe-WAM 基于 Motus 构建,可保持预训练骨干权重冻结并优化 159 万个参数。在 5,000 次更新的适配预算下,CoRe-WAM 在 50 个 RoboTwin 2.0 任务中取得了 92.22% 的干净成功率,比 Motus 高出 3.56 个百分点;在随机评估中,它取得了89.60%的成功率,提高了2.58分。将 TraceDelta 集成到基于 StarVLA 的策略中,将干净成功率从 58.10% 提高到 67.62%,支持 Motus 之外的时间接口转移。