论文

从可穿戴采集接口到触觉机器人策略

From Wearable Interfaces to Dexterous Policies: Contact Shifts and Tactile Representations

模型训练应用与实践监督微调与指令调优机器人

摘要

与传统的远程操作不同,可穿戴界面允许操作员通过自己的手势收集灵巧的演示,同时直接与任务对象交互。这种直接交互减少了收集过程中对目标机器人的依赖,但也使收集硬件成为生成每个演示的物理过程的一部分。界面几何形状可以影响任务的执行方式以及记录哪些触觉观察以供学习。我们研究了 DexUMI 系列外骨骼的两个版本,它们共享相同的机器人命令定义、映射程序和触觉模块类型,但手侧几何结构不同。修改后的界面减少了报告的物理需求,提高了所选设备的额定值,实现了被基线机械阻挡的精确抓握中的触觉访问,并在记录的接触中产生与任务相关的变化。盖子扭转主要表现出接触位置的变化,而蛋盒打开主要表现出接触发生的变化。然后,我们使用二进制来训练匹配的策略 聚合输入或空间加力输入。在扭转盖子和打开蛋盒方面,经过修订的界面演示训练的策略比基线演示训练的策略取得了更高的成功,并具有显着的汇集界面效应。在这些任务和另外两项任务(USB 插入和焊接工具拾取和放置)中,空间加力输入同样优于二进制聚合。这些结果表明,可穿戴采集硬件是机器人学习数据生成过程的一部分。因此,此类界面不仅应通过操作员经验进行评估,还应通过其可记录的触觉交互以及其演示支持的策略性能进行评估。

从可穿戴采集接口到触觉机器人策略:论文原图
图 1:受控的手端界面修订改变了操作员和任务对象之间的物理交互,而机器人命令、校准和触觉传感管道保持固定。该修订版在触觉板可访问性、接触位置和接触发生方面产生了与任务相关的变化。二元聚合和空间加力输入保留不同的触觉信息,匹配的机器人推出测试保留的信息是否影响下游政策绩效。