AssemblyWorld：使用通用Agent重新思考 3D 装配

3D 装配的任务需要将对零件及其关系的理解转化为精确的空间排列。预训练的通用Agent是否可以通过视觉交互来组装对象，而无需额外的组装特定微调？为了研究这个问题，我们引入了 AssemblyWorld，这是一个交互式 3D 环境，Agent可以在图像或可用的装配手册的指导下检查渲染视图并操作提供的刚性零件。Agent通过 2D 视图感知零件几何形状，而不是直接访问网格顶点或面，同时对生成的组件进行几何评估。在此环境的基础上，我们构建了 AssemblyWorldBench，其中包括 80 个对象的 100 个组装任务，涵盖家具、工业组装和断裂重新组装。评估八个Agent系统揭示了它们功能上的巨大差异。最强大的系统可实现 80.9% 的零件精度和 59.4% 的完整装配成功率。所评估的开源系统在执行可靠性和组装准确性方面都远远落后于更强大的闭源系统。对视觉参考、交互轨迹和故障的分析显示了智能体如何修改组件，同时留下残余定位误差。 AssemblyWorld 提供了一个通用设置，用于评估交互式装配Agent的能力以及表征近似结构恢复和精确重建之间的差距。