UNICA：可控 3D 化身的统一神经框架

可控3D人体虚拟形象在3D游戏、虚拟宇宙、AR/VR场景中得到广泛应用。创建此类 3D 化身的传统方法需要漫长而复杂的流程，包括外观建模、运动规划、绑定和物理模拟。在本文中，我们介绍了UNICA（统一神经可控化身），这是一种无骨架生成模型，它将所有化身控制组件统一到一个神经框架中。给定类似于视频游戏控制的键盘输入，UNICA 通过在 2D 位置图上运行的动作条件扩散模型生成 3D 化身几何形状的下一帧。然后，点 Transformer 将生成的几何图形映射到 3D 高斯溅射，以实现高保真自由视图渲染。我们的方法自然地捕捉头发和宽松衣服的动态，无需手动设计物理模拟，并支持超长自回归生成。据我们所知，UNICA是第一个统一“运动规划、绑定、物理模拟和渲染”工作流程的模型。代码发布于https://github.com/zjh21/UNICA。