论文
ATHENA:用于机器人数据管理的加速多任务异构影响函数
ATHENA: Accelerated Multi-Task Heterogeneous Influence Functions for Robot Data Curation
摘要
在机器人模仿学习中,影响函数提供了一种原则性方法来量化每个演示对机器人任务结果的影响,但将其扩展到十亿参数视觉语言动作(VLA)模型受到计算和多任务瓶颈的限制。为此,我们提出了 ATHENA,这是一个专为十亿参数规模的多任务 VLA 数据管理而定制的影响函数框架。具体来说,它利用线性层梯度的 Kronecker 结构来降低投影成本,并使用 R 随机截断逼近来近似密集 Hessian 反演,在影响力计算方面实现了约 313.4 倍的加速。此外,ATHENA 制定了全球和本地互动影响力,以平衡 50 个联合训练任务的数据管理。对 RoboTwin 2.0 和真实机器人部署的广泛评估(分别涵盖 9.34 小时和 6.90 小时的演示)表明,ATHENA 匹配或超过全数据联合 微调,仅使用 50% 的模拟演示和 66.7% 的数据来完成六个真实机器人任务。总体而言,ATHENA 在十亿参数多任务 VLA 微调 中展示了其数据管理的有效性。