论文
DiDE:通过颜色纹理解耦直接注入进行 3D 风格化
DiDE:Direct Injection with Color-Texture DEcoupling for 3D Stylization
摘要
基于整流流的图像到 3D 生成模型的最新进展已经实现了高保真 3D 资产生成。在此基础上,越来越多的工作利用这些强大的 3D 先验进行免训练的风格化,将视觉属性从参考图像转移到生成的 3D 资产上。然而,现有的方法强制执行一种全有或全无的范例:颜色和纹理联合传输,没有独立控制它们的机制——我们将这一限制形式化为解缠结 3D 风格化 (Disen3D)。为了解决这个问题,我们提出了 DiDE,第一个免训练的 Disen3D 框架。我们方法的关键是观察到图像到 3D 模型的结构化潜空间在纹理方面过于完整:纹理信息仅占据风格重要通道的一小部分子集,留下可用于独立颜色编码的自由子空间。 DiDE 通过通道分区机制来利用这一点,该机制通过专用分支处理内容图像、纹理参考和颜色参考,并在每个自注意力层上无干扰地组合两种风格信号,从而始终保留内容几何形状。在我们新收集的多参考基准 Disen3D-Bench 上进行的实验表明,DiDE 在颜色保真度、纹理传输和内容保留方面始终优于 2D 和 3D 风格化基线。