通过推理和反思生成个性化图像

个性化图像生成仍然狭隘地集中于根据策划的视觉样本进行条件合成，而不是捕捉用户是谁。然而，在实践中，用户的个人上下文要丰富得多，包括随着时间的推移积累的评论、帖子、图像、标题和元数据。真正的个性化生成器应该利用这段历史来生成符合用户生活方式和审美偏好的图像。为此，我们引入了第一个根据用户历史记录生成个性化图像的统一基准。该基准包括两个互补的任务和一个多轴评估协议，用于评估目标保真度、视觉质量、用户可区分性、与用户历史的语义一致性以及特定于任务的效用。该基准基于现实世界的电子商务和社交媒体设置，包括：（1）个性化场景生成，将给定对象放置在反映用户偏好和生活方式的场景中，以个性化产品呈现为动力； (2)个性化创意生成，在社交媒体内容创作的推动下，针对特定主题生成忠实于用户审美和视觉身份的新颖图像。我们进一步提出了 PEARL，它将多模态推理机与冻结图像生成器结合在一个用差分数据奖励优化的交错推理-反映循环中。在这两项任务中，PEARL 的表现均优于强大的基线，个性化指标平均提高了 15%。