AffordGen：通过 Afford Correspondence 生成通用对象操作的多样化演示

尽管现代模仿学习方法最近在机器人操作方面取得了成功，但由于数据多样性有限，它们的性能常常受到几何变化的限制。利用强大的 3D 生成模型和视觉基础模型 (VFM)，所提出的 AffordGen 框架通过利用大规模 3D 网格中有意义的关键点的语义对应来生成新的机器人操纵轨迹，从而克服了这一限制。然后，使用这种大规模的、可供性感知的数据集来训练强大的闭环视觉运动策略，将可供性的语义泛化性与端到端学习的反应鲁棒性相结合。模拟和现实世界中的实验表明，使用 AffordGen 训练的策略取得了很高的成功率，并且能够对真正看不见的物体进行零样本泛化，从而显着提高了机器人学习中的数据效率。项目页面：https://jiaweiz9.github.io/AffordGen-release/