论文
POIL:以功能点和稳定动力系统实现单次示范迁移
POIL: Point-based One-Shot Imitation Learning with Stable Dynamical Systems
摘要
我们提出 POIL,一种具有稳定动态系统的基于点的一次性模仿学习框架。虽然一次性模仿避免了收集大量演示,但成功的一次性操纵不仅需要将演示轨迹转移到新物体,而且还需要在不断变化的场景条件、抓取配置和外部干扰下稳健地执行它。 POIL 通过共享表示解决这两个问题:对象功能部分上的一组 3D 点,联合用于轨迹传输和闭环执行。通过点对应可以实现从演示轨迹的一次性转移。 POIL通过多模态大语言模型定位共享功能部位,并在视点、姿势和物体类别变化之间传输轨迹。在执行过程中,多视图跟踪在线观察相同的点,点集 BCSDM 通过将每点速度投影到仅根据跟踪点计算的单个刚体速度旋量上来驱动它们在闭环中。这将稳定的动态模型从 SE(3) 姿态扩展到点集,而不需要已知的 3D 模型或姿态估计器。我们表明,在目标处,控制器成为经典 SO(3) 势上的梯度流,因此其终端阶段继承了刚性对象假设下该势的几乎全局收敛。在模拟和真实机器人实验中,POIL 可以跨对象类别、抓取姿势和目标几何形状传输单个演示,同时在执行过程中从外部干扰中恢复。项目页面:https://sangminkim-99.github.io/poil
