交互器：面向代理 RL 的迭代创建，用于赞助搜索中的广告描述生成

本文重点关注在赞助搜索中自动生成信息丰富的广告描述。与通常为了吸引用户点击反馈而优化的广告标题不同，广告描述具有较长的文本跨度，并且具有结合世界知识来满足用户搜索意图的潜力，同时呈现广告的细粒度卖点。我们提出了 Interactor，这是一个使用代理 RL 优化的多轮迭代创建框架，用于生成广告描述。生成模型充当与由多个生成奖励模型组成的定制环境交互的策略。鉴于政策的最初几代，定制的 GenRM 评估包括知识容量和登陆页面一致性在内的质量，提供二进制信号和详细的反馈。然后，该政策根据此类反馈迭代地完善描述，以确保持续改进。实验表明，它在生成知识丰富且忠实的广告描述方面明显优于最先进的广告文本生成方法。自 2026 年 5 月下旬以来，它已在线部署在领先的搜索广告系统中，该框架为超过 14 万广告商提供服务，为广告收入和用户体验做出了贡献。