PWM-ArtGen：用于生成铰接对象的部件世界模型

从单个图像生成铰接式 3D 对象的关键挑战是准确预测底层运动结构。现有方法要么直接从缺乏动态零件级运动学关系的静态图像推断运动学参数，要么从单个图像生成的视觉动态估计参数，这容易出现两步的累积误差。此外，现有注释数据集的规模和多样性有限，进一步阻碍了对复杂的现实世界对象的泛化。为了克服这些限制，我们建议学习视觉动力学和运动学参数的联合分布。认识到铰接物体可以表示为动态系统，我们提出了一个统一的零件世界模型，称为 PWM-ArtGen。为了利用未注释的数据，该模型将动作扩散和图像扩散与独立的扩散时间步相结合，从而实现视觉分支协同训练。我们进一步整理了一个包含 19.7k 个零件级图像对的真实感数据集，没有运动学注释，以支持协同训练。实验表明，PWM-ArtGen 在静止状态下的性能大大优于现有基线，并对分布外对象表现出强大的零样本泛化能力。