通过数据合成和统一规划扩展基于操作手册的家电操作

操作家用电器需要依赖于状态且对干扰具有鲁棒性的长期规划，但现有的大型模型存在不足，因为没有足够多样化、面向任务的数据集来支持这种规划。为了弥补这一差距，我们提出了 MAGE，这是一种可扩展的数据合成管道，它引入了一种新颖的分层设备图（HAG），可以根据设备手册自动生成零件部件定位、长期规划和闭环恢复数据。通过 MAGE，我们构建了 UseAppliance，这是第一个用于手动设备操作规划的大型数据集，涵盖 22 个设备类别，具有 89K+ 零件注释、53K+ 操作任务和 33K+ 闭环调整步骤。我们在 UseAppliance 的基础上开发了 AppliancePlan，这是一种用于基于手动的设备操作规划的端到端模型。在 RealAppliance-Bench 上，仅使用 7B 个参数的 AppliancePlan 即可实现开环规划最佳基线的 10 倍以上，并且在所有任务中始终优于最先进的模型。在六种家用电器上进行的真实机器人实验进一步证实了模拟到真实的有效传输，标志着向通用家用机器人迈出了重要一步。