论文

从语料库到共同进化的能力:以能力为中心的数据设计,用于通用图像生成

From Corpora to Co-Evolving Capabilities: Capability-Centric Data Design for Generalist Image Generation

模型训练合成数据

摘要

大规模图像生成受益于数据规模、质量、重新平衡和重新捕获方面的进步,但传统管道通常单独优化特定于任务的数据集。一个核心挑战不仅是如何管理每个特定任务的语料库,而且是如何根据生成能力之间的依赖关系组织异构监督。我们提出了一个\textbf{能力驱动的数据基础设施},它将特定于能力的监督构建与能力一致的课程安排结合起来。它的三个专业但可互操作的数据引擎为文本图像基础、图像间转换和图像知识关联构建了互补的关系监督,而字幕专家则跨任务和粒度调整 T2I 和编辑监督。多阶段课程沿着能力获取的依赖顺序共同发展任务构成、视觉概念分布、数据质量和图像分辨率,并通过有针对性的检索、专家构建和差距感知重采样来实现能力感知评估闭合循环。在规模上,该框架管理了 4.4 亿图像 T2I 语料库、1.2 亿个编辑对和超过 2700 万个图像实体对。有了这个基础设施,我们从头开始训练两个尺度的多模态扩散模型,分别具有 3B 和 6B 尺寸。我们在 CPI-Bench 上进行定量评估,并对不同的文本到图像和编辑场景进行定性评估。实验结果呈现出广泛的视觉覆盖范围、多功能渲染以及跨生成能力的有效迁移。