AdsWorldEngine：通过 Orchestrator 和工具协同进化实现自我进化的对话式广告代理

对话式广告旨在在多轮助理交互中提供有用的广告。与传统的基于查询的广告（用户的意图通常以简短的独立查询来表达）不同，对话式广告必须从当前用户查询、助理响应和对话历史记录中推断出潜在的商业意图，同时还要确定广告是否有帮助而不是侵入性。我们提出了 AdsWorldEngine，一种对话式广告的代理框架。 AdsWorldEngine 使用机会门来确定是否应显示广告，使用 Orchestrator 来生成商业意图、调用广告工具并构建前 3 名广告板，并使用评估器对已交付的广告进行评分以进行离线优化。核心贡献是迭代的参与者工具训练过程：我们首先使用受监督的 微调 和代理强化学习来训练 Orchestrator，然后使用高和低奖励采样轨迹来构建偏好数据来训练工具。这创建了一个自我改进的循环，系统不仅学习如何使用广告工具，还学习如何通过奖励行为来改进它们。为了支持主观生产决策，我们引入了基于标签的判断模型，该模型根据在明确指导下收集的人类标签来训练判断模型。它通过思维痕迹丰富标签，通过反思过滤不一致的基本原理，并通过保留不对称奖励差距的成本敏感的 GRPO 变体进一步优化二元判断。离线时，AdsWorldEngine 与当前的制作广告投放系统相比，多样性提高了 60%，相关性提高了 80%。在在线 A/B 测试中，它使 RPM 提高了 22%，广告覆盖率提高了 74%。