TacForcing：具有执行时触觉反馈的流式动作生成

丰富的接触操纵需要适应可以在动作范围内大幅演变的接触状态。然而，基于块的视觉-语言-动作模型根据执行前收集的观察结果预测完整的动作块，从而使触觉调节在执行过程中变得陈旧。现有的触觉反应方法通常依赖于单独的高频控制器，这增加了架构和训练的复杂性。在本文中，我们介绍了 TacForcing，一种包含执行时触觉反馈的流式动作生成框架。 TacForcing 用流式专家取代了标准操作专家，流式专家按顺序生成操作块，同时保留未完成块的中间状态。执行每个块后，专家使用新获得的触觉反馈从这些状态恢复生成。为了更好地将触觉调节与动作执行结合起来，我们进一步引入了执行感知触觉注意（EATA），它将对每个触觉更新的直接访问限制为计划执行的下一个块。在两个机器人平台上的六项 UniVTAC 模拟任务和六项现实世界接触丰富的操作任务中，TacForcing 在模拟中实现了 65% 的平均成功率，在现实世界中实现了 66% 的平均成功率，分别比最强基线高出 6 个和 15 个百分点。