$π_{0.7}$：具有紧急功能的可操纵多面手机器人基础模型

我们提出了一种新的机器人基础模型，称为 $π_{0.7}$，它可以在各种场景中实现强大的开箱即用性能。 $π_{0.7}$ 可以在看不见的环境中遵循不同的语言指令，包括使用各种厨房用具的多阶段任务，提供零样本跨实施例泛化，例如使机器人能够在没有看到任务之前折叠衣物，并执行具有挑战性的任务，例如开箱即用的浓缩咖啡机，其性能水平与更专业的 RL 微调模型相匹配。 $π_{0.7}$ 背后的主要思想是在训练期间使用不同的上下文调节。提示中包含的调节信息使得可以精确地引导模型以不同的策略执行许多任务。它不仅取决于描述它应该做什么的语言命令，还取决于附加的多模态信息，这些信息也描述了它应该执行的方式或策略，包括有关任务性能和子目标图像的元数据。这使得 $π_{0.7}$ 能够使用非常多样化的数据，包括演示、包括故障在内的潜在次优（自主）数据以及来自非机器人来源的数据。我们的实验评估了多个机器人平台的众多任务中的 $π_{0.7}$，以及需要速度和灵活性、语言跟随和组合任务泛化的任务。