HiTac-WAM：用于富接触机器人操作的分层触觉世界动作模型

世界动作模型共同预测未来的视觉观察和动作，而现有的触觉感知变体通常将未来的触摸表示为图像或潜在流，而不对分层组织触觉状态的物理依赖性进行建模。我们提出了 HiTac-WAM，这是一种分层触觉世界动作模型，它在执行之前预测每个候选动作块的未来触觉状态序列。预测分解为接触状态、3D 变形场和滑动风险，组织为有向层次结构，其中每个下游阶段都以来自前一阶段的停止梯度信号为条件。定向注意力掩模允许触觉查询关注每个候选者的视频动作上下文，同时防止视频和动作查询关注触觉标记。在规划方面，HiTac-WAM 使用触觉预测和任务进度估计对候选操作块进行排名。在执行时，所选择的触觉预测将被保留作为参考；预测和观察到的触觉状态之间持续存在的差异会触发纠正性的重新计划。 HiTac-WAM 的平均接触 F1 为 0.921；在匹配的训练预算下，有向层次相对于仅变形预测器将 3D 位移 L2 误差降低了 17.6%，相对于仅滑动预测器将滑动 AUPRC 提高了 60.4%。在芯片抓取、黑板擦除和 USB 插入方面，分层预测引导的选择将真实机器人的平均成功率从 31.1% 提高到 61.1%，而整个系统达到 72.2%。