论文

MaTe:通过扩散进行材料传输所需的全部是图像 Transformer

MaTe: Images Are All You Need for Material Transfer via Diffusion Transformer

应用与实践内容创作

摘要

最近基于扩散的材料转移方法依赖于图像 微调 或具有辅助网络的复杂架构,但面临包括文本依赖性、额外计算成本和特征错位等挑战。为了解决这些限制,我们提出了 MaTe,一种简化的传播框架,消除了文本指导和参考网络。 MaTe 在 词元级 处集成输入图像,通过共享潜在空间中的多模态注意力实现统一处理。该设计无需额外的适配器、ControlNet、反演采样或型号 微调。大量实验表明,MaTe 在零次 无需训练 范式下实现了高质量的材料生成。它在视觉质量和效率方面都优于最先进的方法,同时保持精确的细节对齐,显着简化了推理先决条件。