论文

PromptEvolver:通过自然语言空间中的进化优化进行提示反转

PromptEvolver: Prompt Inversion through Evolutionary Optimization in Natural-Language Space

应用与实践内容创作

摘要

文本到图像的生成进展很快,但忠实地生成复杂的场景需要大量的反复试验才能找到准确的提示。在提示反演任务中,目标是恢复能够忠实地重建给定目标图像的文本提示。目前,现有方法经常产生次优的重建,并产生不自然、难以解释的提示,从而阻碍透明度和可控性。在这项工作中,我们提出了 PromptEvolver,一种提示反演方法,可以生成自然语言提示,同时实现目标图像的高保真重建。我们的方法使用遗传算法来优化提示,利用强大的视觉语言模型来指导进化过程。重要的是,它仅需要图像输出即可在黑盒生成模型上工作。最后,我们在多个提示反演基准中评估 PromptEvolver,并表明它始终优于竞争方法。