TORL-VLA：用于接触丰富操作的触觉引导在线强化学习

视觉-语言-动作 (VLA) 模型已成为机器人操作的强大框架，最近的研究已将触觉或力反馈引入 VLA 中，以解决接触丰富的任务。然而，这些模型通常部署为离线策略。当接触条件偏离训练分布时，策略无法进行在线适配，导致接触力度不合适、重试效率低等问题。因此，我们提出了 TORL-VLA，一种触觉引导的在线强化学习框架，它将触觉反馈与策略细化相结合，以实现丰富的接触操作。我们的方法引入了触觉衍生的扳手感知 VLA 来预测参考动作和未来的扳手序列，同时使用轻量级在线 RL 模块来细化参考动作。为了稳定从混合的探索性政策生成和人为干预数据中的学习，我们引入了干预审查批评家，以防止干预后的成功被错误地归功于干预前政策生成的行动。针对长视野接触丰富任务（包括闩锁操作、咖啡杯放置和鸡蛋处理）的真实机器人实验表明，TORL-VLA 提高了子任务和完整任务级别的成功率，以及在强基线上的时间限制执行效率。项目页面：https://torl-vla.github.io/