AIGB-R1：通过分层规划器-执行器优化进行自我演化的生成式自动投标

自动出价在在线广告中发挥着至关重要的作用，它可以自动调整广告商的出价以优化其商业目标。新兴的人工智能生成竞价（AIGB）范式广泛采用生成模型来优化竞价策略，但由于离线数据集的模式覆盖范围有限和任务状态理解不足，阻碍了最优策略的有效探索。 大语言模型 (LLM) 凭借先验知识和推理能力，提供了一种克服这些限制的有前途的方法。然而，直接将 LLM 应用于自动竞价任务面临着有限的数值精度、幻觉和推理延迟等固有挑战。为了解决这些限制，我们提出了 AIGB-R1，这是一个分层的自我进化自动投标框架，旨在通过 LLM 的推理能力增强人工智能生成的投标，包括用于宏观策略规划的高级规划器模块和用于细粒度决策的低级执行器模块。在此基础上，我们设计了一个经验驱动的自我进化循环，能够根据积累的经验进行自主策略探索和优化。我们采用离线预训练和后训练对齐的两阶段管道，并构建交互式投标模拟环境以进行策​​略执行轨迹采样。此外，我们提出解耦组相对策略优化（D-GRPO），通过优势解耦实现端到端优化。大规模公共数据集上的实验结果证明了 AIGB-R1 的有效性。