论文
SIMART:通过 MLLM 将整体网格分解为 Sim 就绪的铰接资产
SIMART: Decomposing Monolithic Meshes into Sim-ready Articulated Assets via MLLM
摘要
高质量的铰接式 3D 资产对于具身AI 和物理模拟来说是不可或缺的,但 3D 生成仍然侧重于静态网格,在“模拟就绪”交互式对象方面留下了空白。最近的铰接式对象创建方法依赖于多级管道,这些管道会在解耦模块之间累积错误。或者,统一的 MLLM 提供单阶段路径来联合静态资产理解和模拟就绪资产生成。然而,基于密集体素的 3D 标记化会产生长 3D 标记序列和高内存开销,从而限制了复杂铰接对象的可扩展性。为了解决这个问题,我们提出了 SIMART,这是一个统一的 MLLM 框架,可以联合执行零件级分解和运动学预测。通过引入稀疏 3D VQ-VAE,与密集体素标记相比,SIMART 将标记数量减少了 70%,从而实现高保真多部件装配。 SIMART 在 PartNet-Mobility 和野外 AIGC 数据集上实现了最先进的性能,并实现了基于物理的机器人仿真。