机器人学习中的潜在动作最重要的是什么

潜在动作模型（LAM）已成为一种有前途的范例，使机器人能够通过潜在动作学习利用大规模未标记视频，这些潜在动作可作为物理动作的紧凑替代品。尽管取得了快速进展，但 LAM 的研究仍然高度分散，现有方法在不一致的实验设置下单独评估不同的设计选择，使得很难确定真正决定下游机器人操纵性能的因素。在这项工作中，我们提出了第一个关于机器人操纵潜在动作学习的全面实证研究。我们将代表性的 LAM 方法统一在一个通用的自动编码框架内，并系统地研究了跨三个维度的 41 个 LAM 设计选择，包括潜在动作建模范式、学习目标和正则化方法以及潜在动作集成策略。我们进一步检查了四个用于评估潜在动作质量的代理指标，并评估它们可靠预测下游机器人操作性能的能力。对三个广泛使用的基准进行的广泛实验提供了强有力的经验证据，表明具有潜在动作的 微调 视觉语言模型 (VLM) 主干为下游策略学习提供了更强的初始化，并进一步验证了现实世界的机器人操作任务。