论文
超越星夜:基于艺术家的文本到图像生成的快捷方式感知控制状态规划
Beyond Starry Night: Shortcut-Aware Control-State Planning for Artist-Grounded Text to Image Generation
摘要
基于艺术家的图像生成需要的不仅仅是在提示中附加艺术家姓名。图像模型通常通过规范的快捷方式(例如重复出现的图案、通用调色板或过度代表的时期签名)来响应艺术家名称,而不是保留用户想要的场景。我们介绍了 Atelier,这是一个快捷方式感知的控制状态规划框架,用于生成基于艺术家的图像。 Atelier 将未明确的艺术意图转化为明确的控制状态,将场景锚点、保留/转换决策、风格体系假设、角色绑定的艺术家证据和避免捷径约束分开。它使用艺术家级别的知识和本地补丁参考来建立这种状态,编译后端感知的生成计划,并通过全局和本地真实性反馈迭代地完善候选者。我们进一步介绍了 ArtIntentBench,这是一个涵盖梵高和齐白石跨艺术作品重新渲染、时期/风格控制生成、历史未见主题、快捷审核和人类偏好评估的基准。在开源和闭源生成器中,Atelier 提高了艺术家级别的风格保真度,更忠实地保留了源结构,并且与即时设计、检索增强和通用代理基线相比,大大减少了快捷方式替换。这些结果表明,以艺术家为基础的生成不仅受到图像合成的瓶颈,还受到明确的、基于证据的艺术控制的上游推论的瓶颈。