机器人操纵的轨迹级连续动作表示

我们提出了 CAT，一种用于机器人操作的轨迹级连续动作表示框架。现有的视觉运动系统通常将动作表示与控制频率纠缠在一起或依赖于固定的时间参数化。这导致高采样率下的表征冗余并限制了关键运动的建模。相反，CAT 将固定实时间隔内的动作轨迹编码为一组连续的潜在标记。为了确保不同控制频率之间的时间一致性，我们进一步结合了频率感知位置编码，建立了共享时间坐标系。轨迹级正则化进一步稳定了潜在表示。这种方法可以防止表示随着时间步密度的增长而增长，并避免对预定义时间参数化的依赖。对 LIBERO、MimicGen 和现实世界长视野操作任务的广泛系统级评估表明，在匹配的训练设置下，基于 CAT 的策略始终优于基于 VQ 的竞争性基线和连续视觉运动基线。在各种模型主干和控制频率上，CAT 不断提高成功率。这些结果凸显了轨迹级连续动作建模在不同控制速率下可扩展机器人操作的优势。