论文

世界动作模型的选择性跨视图一致性:没有测试时相机信息的保留视点鲁棒性

Selective Cross-View Consistency for World Action Models: Held-Out Viewpoint Robustness Without Test-Time Camera Information

模型训练监督微调与指令调优

摘要

世界动作模型(WAM)联合对未来视频帧和机器人动作进行去噪,并且视频先验有望概括它们的控制。相机视点变化仍然是最难的扰动轴之一。我们研究该模型类特有的一个问题:当使用相同状态的跨视图图像对进行训练时,应该在哪个输出坐标上施加一致性损失? WAM 去噪目标将视图协变坐标(即预测的未来场景)与视图不变坐标(即动作块、未来本体感受和值)混合在一起。我们证明,应用于协变块的一致性被证明是有害的,会将合法的特定于视图的内容缩小到其真实值的 $1/(1+4λ)$ 的一小部分,并且我们在受控实验中验证了这种缩小定律。因此,选择性跨视图一致性(SCVC)仅约束不变块,在训练或测试时不需要相机标签、外部因素、深度或视图合成,并且使部署接口保持不变。我们在 LIBERO-Plus 相机轨道上引入了一种雕刻和保留评估协议,该协议将分布匹配上限与真实插值和外推到保留视点分开,并使用匹配配对训练控制将一致性项的影响与配对曝光隔离开来。在超出训练包络线的保持轨道视点上,SCVC 将匹配控制的闭环成功率提高了 12.2 个点(95% CI [7.4, 17.0];+15.5,CI [11.7, 19.4],在独立的第二个种子下)——另外两个相机轴复制的效果——而包络内的插值显示任一种子都没有增益(-1.2 和 -4.3 点),并且保留了分布能力(-0.6,-0.2)。我们还报告了一项跨主干审计,显示已发布的相机稳健性数据受到手腕相机姿势稳定性的影响。