触觉好奇心驱动机器人交互

通过强化学习（RL）掌握机器人操作技能在很大程度上仍然是样本效率低下的。最常见的强化学习算法依靠随机动作采样来发现新策略，从而导致智能体将大部分训练预算分配给自由空间中的运动，远离产生操纵技能的接触点。现有的基于模型分歧或认知不确定性的内在动机方法改善了各向同性噪声，但它们也可以奖励功能不相关的转换中的不确定性，例如自由空间中的不稳定运动。在这项工作中，我们认为触觉反馈为探索提供了自然信号，并引入了 TacEx，这是一个框架，通过分解跨感官模式的模型不确定性并将好奇心引导到触觉通道，将触摸纳入认知不确定性驱动的探索中。通过将好奇心锚定在触觉上，TacEx 驱动机器人发现复杂的接触动态，在探索过程中无需任务奖励或专家演示即可学习操纵和抓取物体。通过这种触觉驱动的好奇心收集的交互密集数据集支持下游拾放策略的离线学习，而无需额外的环境交互。我们进一步使用触觉驱动的探索来后训练视觉语言动作（VLA）模型。尽管 VLA 最初是在没有触觉反馈的情况下进行预训练的，但使用 TacEx 进行后训练可显着提高下游性能，同时保持高样本效率。