BTC3D：用于增强细节的图像到 3D 生成的混合切片调节

最近基于扩散的流程在图像到 3D 合成方面取得了有希望的进展。然而，生成高保真细节仍然具有挑战性，特别是当输入图像包含丰富的细节时。现有的方法通常依赖于全局编码的条件特征，它压缩空间信息并限制模型再现细粒度的细节。这种常见的设计通常会导致我们称之为细节衰减的现象。此外，提高图像到 3D 合成的质量通常需要重新训练或微调大型扩散模型，这对于复杂的 3D 管道来说计算成本高昂且不切实际。在这项工作中，我们提出了用于图像到 3D 生成的混合平铺调节 (BTC3D)，这是一种无需训练的推理时间框架，可增强图像到 3D 扩散管道中细粒度细节的保留。为了减轻细节衰减，我们首先检查图像到 3D 模型中的图像特征可加性。基于这一特性，我们引入了一种混合图块嵌入，它可以从分割图像区域块中提取局部调节信号，从而使扩散模型能够更好地保留细粒度的视觉细节。为了稳定地整合全局和局部调节指导，我们提出了一种动态调节方案，该方案在后期的低噪声扩散阶段逐渐增加瓦片级调节的影响。我们提出的方法 BTC3D 完全在推理时运行，并且可以无缝集成到现有的图像到 3D 扩散管道中。实验结果表明，所提出的方法显着提高了基础模型的纹理质量和视觉保真度，同时以免训练的方式保持全局结构一致性。