TextGround4M：用于布局感知文本渲染的提示对齐数据集

尽管最近在文本到图像生成方面取得了进展，但模型仍然难以以正确的空间布局准确渲染提示指定的文本——尤其是在多跨度、结构化设置中。这一挑战不仅是由于缺乏将提示与图像中预期的确切文本和布局对齐的数据集，而且还因为缺乏评估布局质量的有效指标。为了解决这些问题，我们引入了 TextGround4M，这是一个包含超过 400 万个提示图像对的大型数据集，每个提示图像都用基于提示和相应边界框的跨度文本进行注释。这可以对布局感知、基于提示的文本渲染进行细粒度的监督。在此基础上，我们提出了一种用于自回归 T2I 模型的轻量级训练策略，该策略在训练期间附加布局感知的跨度标记，而不改变模型架构或推理行为。我们进一步构建了具有分层布局复杂性的基准，以在零样本设置中评估开源和专有模型。此外，我们引入了两个布局感知指标来解决文本渲染中长期缺乏空间评估的问题。我们的结果表明，在 TextGround4M 上训练的模型在文本保真度、空间准确性和提示一致性方面优于强基线，这凸显了细粒度布局监督对于有布局依据的文生图的重要性。