TacPAC：世界动作模型中的触觉预测和实时动作校正，用于丰富的接触操作

世界动作模型通过预测未来的观察来指导动作生成，但以视觉为中心的预测错过了决定丰富接触操作的局部接触线索。然而，天真地将未来的触觉观察预测为额外的视图只能恢复我们实验中可实现增益的三分之一。这种差距反映了时间不匹配：预测先于执行，而触觉反馈在执行期间到达。我们引入了 TacPAC，它将触觉预测转化为实时动作校正。一旦基本模型规划了一个动作块，TacPAC 就会缓存该计划所依据的预测接触以及该计划自己的表示，并且触觉专家会根据该缓存读取每个新观察到的触觉图像，以纠正尚未执行的动作。因此，反馈是根据计划的预期进行解释的，而不是孤立地进行解释，并且一次更正是对该缓存的单次传递，比重新生成块便宜 20.7 倍。在涵盖精确插入、易碎物体处理、物体重新定向和长视野操纵的五项真实机器人任务中，TacPAC 领先于每项任务，并将其平均值从纯视觉基础模型的 22% 提高到 64%。代码可在 https://github.com/LogosRoboticsGroup/TacPAC 获取。