ERNIE-图像技术报告

我们介绍 ERNIE-Image，这是一种基于 8B 单流 DiT 架构构建的开源文本到图像生成模型。 ERNIE-Image 旨在通过更有效地挖掘大规模 预训练 数据并提高整个训练过程中的监督质量，缩小当前开源模型与领先闭源系统之间的差距。在预训练期间，我们采用了自下而上的数据构建流程，结合了细粒度图像分类、丰富的描述文本注释、美学评估和分层采样。这种策略减少了数据噪声，同时保留了长尾概念和详细的现实知识，为复杂的生成任务提供了更坚实的基础。在后训练阶段，我们针对高需求场景使用自上而下的数据构建管道，使提示注释多样化以更好地匹配真实用户输入，并应用稳定的DPO策略使模型与人类审美偏好保持一致。我们进一步训练 ERNIE-Image-Turbo 以实现高效的 8-NFE 生成，并提出 MT-DMD 以减轻 蒸馏 期间的能力漂移。为了使模型在实际场景中更易于使用，我们为其配备了轻量级的提示增强器，将简洁的用户意图扩展为结构化的视觉描述。此外，我们还开发了工业级美学模型ERNIE-Image-Aes，以及用于现实美学评估的人工注释基准ERNIE-Image-Aes-1K。大量的定性和定量实验表明，ERNIE-Image在开源模型中取得了领先的性能，并且在指令跟随、文本渲染和美学质量方面接近顶级商业模型。我们发布训练好的模型和美学资源，以促进 AIGC 社区进一步的学术研究和技术进步。