Ego-Pi：VLA 微调，用于以自我为中心的人类和机器人数据

摘要

机器人技术面临着数据稀缺的根本挑战。与语言或视觉研究不同，没有用于机器人操作的互联网规模的数据集。一条有希望的前进道路是利用以自我为中心的人类数据，这些数据可以更容易、更广泛、更大规模地收集。为此，我们以 $π_{0.5}$ 模型为基础，研究了配备灵巧五指手的人类和类人生物的学习的关键设计选择。我们的结果表明，人类数据使机器人能够学习新的任务语义，并将现有技能组合成新颖的行为，而无需相应的机器人数据。论文网站在这里：https://egopipaper.github.io/