PRISM：从数据学习设计知识以实现风格化设计改进

摘要

平面设计常涉及探索不同的风格方向，这对非专业人士而言可能很耗时。我们研究依据自然语言指令对设计进行风格化改进的问题。虽然 VLM 已在平面设计中取得初步成功，但其预训练的风格知识往往过于笼统，与特定领域数据不匹配。例如，VLM 可能把极简主义与抽象设计联系起来，而设计师强调的是形状与颜色选择。我们的关键洞见是利用设计数据——一组隐含设计师原则的真实设计——来学习设计知识并指导风格改进。我们提出 PRISM（PRior-Informed Stylistic Modification），它通过三个阶段构建并应用设计知识库：(1) 聚类高方差设计以捕捉风格内的多样性；(2) 将每个聚类总结为可操作的设计知识；(3) 推理时检索相关知识以实现风格感知的改进。在 Crello 数据集上的实验显示，PRISM 在风格对齐上取得 1.49 的最佳平均排名（越接近 1 越好）。用户研究进一步验证了这些结果，表明设计师一致偏好 PRISM。

PRISM：从数据学习设计知识以实现风格化设计改进 — 图2：PRISM 总览。给定风格为 "abstract"（抽象）的设计数据，(1) Style Space Partitioning（风格空间划分）阶段识别视觉上具有区分性的簇。随后，(2) Knowledge Extraction（知识抽取）专注于从这些簇中学习简洁、可操作的知识。在对比框架下，VLM 在生成知识之前对正例与负例进行比较与对照。我们突出展示两个示例，说明正/负设计如何影响指南中的具体条目。在推理时，(3) Prior-Informed Edits（先验引导的编辑）基于原始设计数据分布按比例检索相关设计知识，从而输出多样且仍与数据一致的改进。