TouchWorld：用于灵巧操作的预测性和反应性触觉基础模型

日常环境中的灵巧操作需要预测和反应：机器人必须预测接触应如何演变，同时快速纠正因滑动、未对准、不稳定抓取或力不匹配引起的局部错误。视觉和语言提供语义和几何指导，但它们无法可靠地揭示隐藏的接触状态，例如力、滑动和接触稳定性。尽管触觉感知暴露了这些物理线索，但大多数现有策略将触摸视为整体动作模型中的低频观察流，将缓慢的任务推理、动作生成和快速接触反馈耦合在单个循环中。我们引入了 TouchWorld，这是一种用于灵巧操作的预测性和反应性触觉基础模型。 TouchWorld 使用分层策略，将视觉语言子任务规划、触觉世界模型预测、视觉触觉目标条件动作生成和高频触觉残差细化分开。高级规划层生成可执行子任务并预测触觉子目标；视觉触觉目标条件策略生成名义动作块；触觉条件细化策略使用最近的触觉和本体感觉反馈执行在线残差校正。通过使用触摸作为预测接触参考和快速反馈信号，TouchWorld 保留了视觉-语言-动作策略的语义概括，同时改进了局部接触适应。在六项长视界和接触丰富的灵巧操作任务中，TouchWorld 在干净环境下取得了 65.0% 的成功率，在人类干扰下取得了 53.7% 的成功率，分别比最强基线高出 15.7 和 18.5 个百分点。