ReTouch：通过在线改进的触觉预测增强接触丰富的灵巧操作

事实证明，融合触觉信号对于富含接触的操作是有效的，使机器人能够感知接触状态并适应快速变化的物理交互。然而，如何有效地将触觉反馈整合到灵巧的操作中仍然尚未得到充分探索。在这项工作中，我们介绍了 ReTouch，这是一种视觉-语言-动作模型 (VLA)，它通过使用执行时反馈不断在线完善的触觉预测来支持接触丰富的灵巧操作。 ReTouch 建立在触觉表示和闭环动作生成的两项主要创新之上。首先，其触觉贴片编码器将触觉观察结果表示为结构化触觉贴片特征，保留手指身份和局部接触结构，为细粒度灵巧控制提供接触线索。其次，其高频动作模块联合预测未来的触觉状态和动作块，并在执行过程中使用传入的触觉反馈来优化两者。这种闭环细化使触觉预测与不断发展的物理交互保持一致，从而实现响应式动作校正并提高对接触变化和执行错误的鲁棒性。我们进一步介绍了 XHT-Dataset，其中包含在 XHand--UR7e 平台上收集的七个富含接触任务的 900 个真实世界演示，并通过闭环真实机器人实验评估 ReTouch。在标准条件和挑战性条件下，ReTouch 的平均成功率分别超过最强基线 18.4 和 23.8 个百分点，证明了其有效性和稳健性。