OmniCAD：机器人装配中 3D 空间推理的大型基准

最近的视觉语言模型（VLM）在机器人感知和空间推理方面显示出强大的能力，但它们推理复杂机械组件的能力仍未得到充分开发。我们推出 OmniCAD，这是一个跨不同工业系统（包括机器人机构、汽车零部件、航空航天结构和农业机械）的装配感知 3D 空间推理的大型基准。 OmniCAD 包含 25k 个机械装配体，每个装配体平均有 12 个零件和 21 种配合关系。每个组件都包含一个经过人工验证的 真值 3D 模型和 20 个视点的渲染图。该基准评估了三种能力：（1）组件级 3D 空间推理，需要预测零件位置和方向； (2) 零件与零件之间的关系推理，需要识别配合关系和装配约束； (3)工具增强的代理推理，其中模型迭代地选择观点、检查视觉证据并完善预测。实验表明，当前的 VLM 难以应对工业装配推理，通常会产生不准确的姿势、无效的配合关系、零件相互渗透以及随着装配复杂性的增加而导致性能下降。我们将开源基准测试、评估代码和工具接口，以支持准确、物理有效和可扩展的 3D 装配推理研究。