论文
PosterText:电子商务海报的统一视觉文本生成和编辑
PosterText: Towards Unified Visual Text Generation and Editing for E-commerce Poster
摘要
自动化的电子商务海报设计既需要高质量的海报生成,又需要对现有设计进行灵活的编辑。然而,大多数现有方法要么以端到端海报生成为目标,要么遵循多阶段设计流程,对现有海报进行灵活和精确编辑的能力有限。为了实现电商海报的统一生成和编辑,我们引入了文本补丁生成和编辑,这是一种统一的任务制定,将文本补丁视为原子单元,涵盖海报生成、补丁添加、补丁删除和补丁修改四种操作,并具有可选的参考引导样式控制。基于此,我们提出了PosterText,这是一个经过四阶段课程训练的统一模型,包括文本渲染预训练、指令跟踪训练、用于偏好对齐的强化学习以及用于执行细化的空间引导自蒸馏。我们进一步构建了具有补丁级注释的大规模数据集和综合评估基准。大量的实验表明,PosterText 与现有的生成和编辑方法相比具有竞争性的性能,验证了所提出框架的有效性。