论文
几何熵:轨迹多样性对模仿学习的帮助和伤害
Geometric Entropy: When Trajectory Diversity Helps and Hurts in Imitation Learning
摘要
我们研究演示中的轨迹形状多样性如何影响跨模型、任务和数据规模的模仿学习(IL)性能。我们引入了几何熵(H_G),这是一种与任务无关的度量,它通过目标帧对齐标准化外在变化(例如目标姿态和工作空间尺度)后量化传输轨迹的内在多样性。在多个 IL 架构以及模拟和真实机器人接触丰富的操作任务中,我们观察到成功与 H_G 之间一致的倒 U 关系:增加几何多样性可以提高低多样性状态下的鲁棒性,但一旦多样性导致策略模糊,就会降低性能。此外,随着任务掌握程度通过更多数据、更简单的任务或更强的先验而增加,最佳熵会向更低的值转变,并且对于预训练的视觉-语言-动作模型,该趋势实际上变得单调递减。实际上,H_G 可以对演示数据集进行快速 预训练 审核,并提供一个简单的指南来校准可学习机制的演示。