DynaMesh：动态 3D 纹理生成

摘要

我们提出了 DynaMesh，一种 3D 网格的动态纹理生成方法。给定无纹理的形状和描述效果的文本提示，我们的方法会产生一种不断变化的外观，而对象的几何形状保持不变。以前有关动态 3D 内容生成的工作主要集中在运动上，即对象的几何形状和位置发生变化，同时保持其外观不变。纹理生成方法位于问题的另一面，将外观绘制到形状上作为固定的表面属性，而不是作为一个不断发展的过程。两者都没有解决在 3D 对象上传播的视觉效果。自然路线由两个生成器组成：一个显示单个视图效果的视频模型，以及一个将每个帧提升为 3D 的图像到 3D 生成器。然而，后者没有时间概念，因此每个视频帧运行它会产生一个闪烁的序列，丢失效果细节，并在每个视频帧产生不同的网格。我们的方法通过在网格渲染上调节视频模型并提示获取参考视频，然后在视频上运行冻结图像到 3D 生成器并进行两次更改来解决这些故障。每个帧的调节在时间窗口上混合，并且低秩适配器适合每个形状以恢复丢失的细节。网格在整个序列中编码一次，因此几何结构在构造上是恒定的，并且输出是每帧具有纹理的单个网格。 DynaMesh 应用于各种对象和效果，比最近的视频转 4D 和纹理方法有了显着改进，并且可以将其时间效果推广到训练期间从未见过的不同形状。我们的项目页面位于https://threedle.github.io/dynamesh/.

DynaMesh：动态 3D 纹理生成的原论文方法或结果图 — 图 3：系统概览。输入网格的渲染以及描述效果的文本提示被传递到视频生成模型，该模型返回我们管道的参考视频。然后，3D 生成器在每一帧生成纹理对象。我们的时间交叉注意力（新模块）在相邻视频帧的窗口上调节每个帧的生成。注意力模块上的低秩适配器适合每个场景以恢复细节。几何图形在帧之间共享，因此输出是一个网格，其纹理随着视频而变化。