论文

Gen-Searcher:加强图像生成的代理搜索

Gen-Searcher: Reinforcing Agentic Search for Image Generation

模型训练强化学习

摘要

最近的图像生成模型在生成高保真和逼真图像方面表现出了强大的能力。然而,它们从根本上受到冻结的内部知识的限制,因此常常在知识密集型或需要最新信息的现实场景中失败。在本文中,我们提出 Gen-Searcher,作为训练搜索增强图像生成代理的首次尝试,该代理执行多跳推理和搜索以收集基础生成所需的文本知识和参考图像。为了实现这一目标,我们构建了一个定制的数据管道,并策划了两个高质量的数据集:Gen-Searcher-SFT-10k 和 Gen-Searcher-RL-6k,其中包含各种搜索密集型提示和相应的 真值 合成图像。我们进一步介绍了 KnowGen,这是一个综合基准,明确需要基于搜索的外部知识来生成图像并从多个维度评估模型。基于这些资源,我们使用 SFT 训练 Gen-Searcher,然后进行具有双重奖励反馈的代理强化学习,它结合了基于文本和基于图像的奖励,为 GRPO 训练提供更稳定和信息丰富的学习信号。实验表明,Gen-Searcher 带来了巨大的收益,将 Qwen-Image 在 KnowGen 上提高了约 16 个点,在 WISE 上提高了 15 个点。我们希望这项工作能够成为图像生成中搜索代理的开放基础,并且我们完全开源我们的数据、模型和代码。