TAMEn：触觉感知操纵引擎，用于在接触丰富的任务中进行闭环数据收集

手持范例提供了一种有效且直观的方式来收集大规模的机器人操作演示。然而，通过这些方法实现富含接触的双手操作仍然是一个关键挑战，这在很大程度上受到硬件适应性和数据有效性的阻碍。之前的硬件设计仍然是特定于夹具的，并且经常面临跟踪精度和便携性之间的权衡。此外，演示过程中缺乏在线可行性检查导致可玩性较差。更重要的是，现有的手持设备很难在机器人执行期间收集交互式恢复数据，缺乏稳健的策略细化所需的真实触觉信息。为了弥补这些差距，我们推出了 TAMEn，这是一种触觉感知操纵引擎，用于在接触丰富的任务中进行闭环数据收集。我们的系统具有跨形态的可穿戴界面，可以快速适应异构夹具。为了平衡数据质量和环境多样性，我们实施了双模式采集管道：利用运动捕捉进行高保真演示的精确模式，以及利用基于 VR 的跟踪进行野外采集和触觉可视化恢复远程操作的便携式模式。在此硬件的基础上，我们将大规模触觉预训练、特定任务的双手演示和人机循环恢复数据统一到金字塔结构的数据体系中，从而实现闭环策略细化。实验表明，我们的可行性感知管道显着提高了演示的可重玩性，并且所提出的视觉触觉学习框架将各种双手操作任务的任务成功率从 34% 提高到 75%。我们进一步开源硬件和数据集，以促进可重复性并支持视觉触觉操作的研究。