UniMesh：统一 3D 网格理解和生成

3D 视觉的最新进展催生了用于 3D 理解（例如形状分类、分割、重建）或 3D 生成（例如合成、完成和编辑）的专用模型。然而，这些任务通常是孤立处理的，导致架构和表示支离破碎，阻碍了知识转移和整体场景建模。为了应对这些挑战，我们提出了 UniMesh，这是一个统一的框架，可以在单一架构中共同学习 3D 生成和理解。首先，我们引入了一种新颖的网格头，它充当跨模型接口，将基于扩散的图像生成与隐式形状解码器桥接起来。其次，我们开发了网格链（CoM），它是迭代推理的几何实例，它使用户能够通过闭环潜在、提示和重新生成循环来驱动语义网格编辑。第三，我们结合了基于行动者—评估者—自我反思三元组的自我反思机制，以诊断和纠正 3D描述等高级任务中的失败。实验结果表明，UniMesh 不仅在标准基准上实现了具有竞争力的性能，而且还释放了迭代编辑以及生成和理解之间相互增强的新功能。代码：https://github.com/AIGeeksGroup/UniMesh。网站：https://aigeeksgroup.github.io/UniMesh。