AffordSim：可扩展的数据生成器和可供性感知机器人操作的基准

许多日常机器人操作技能都是依赖于可供性的，成功与否取决于机器人是否接触后续动作所需的功能对象区域。当前的模拟数据生成器从通用抓取估计器或每个对象的手动接触注释中获取接触，但通用估计器在没有任务语义的情况下对稳定的抓取进行排名，并且通常选择与下游动作不一致的接触，而必须为每个新对象和任务重写手动接触注释。为了解决这些挑战，我们引入了 AffordSim，这是一种可扩展的数据生成器和基准测试，它将开放词汇 3D 可供性预测集成到基于模拟的轨迹生成中。给定自然语言任务描述，AffordSim 合成与任务相关的场景，发出可供性查询，将它们基于对象表面，对区域条件抓取进行采样，并通过运动规划选择可执行候选对象。它进一步随机化对象姿势、纹理、照明、图像噪声和跨视点背景，以实现模拟到真实的传输。我们将 AffordSim 实例化为涵盖不同操作技能、五个机器人实施例以及 500 多个刚性和铰接物体的 50 项任务基准。 AffordSim 在可供性关键任务上实现了 93% 的手动接触注释轨迹收集成功率，在硬复合任务上实现了 89% 的轨迹收集成功率。在 AffordSim 数据上训练的视觉-语言-动作策略零样本传输到真正的 Franka FR3，平均成功率达到 24%。