GUI-GENESIS：面向 GUI 智能体后训练的带可验证奖励高效环境自动合成

在交互环境中对 GUI 智能体进行后训练，对培养泛化与长程规划能力至关重要。然而，在真实应用上训练受制于高延迟、可复现性差，以及依赖嘈杂视觉代理而不可验证的奖励。为解决这些局限，我们提出 GUI-GENESIS，首个自动合成带可验证奖励的高效 GUI 训练环境的框架。GUI-GENESIS 使用多模态代码模型将真实应用重构为轻量级网页环境，并为其配备代码原生奖励——即可执行断言，提供确定性奖励信号并消除视觉估计噪声。大量实验表明，与在真实应用上训练相比，GUI-GENESIS 将环境延迟降低 10 倍，每个 epoch 的成本降低超过 28,000 美元。值得注意的是，用 GUI-GENESIS 训练的智能体在留出的真实世界任务上比基础模型高出 14.54%，甚至比真实世界 RL 基线高出 3.27%。最后，我们观察到模型能够合成它们尚无法解决的环境，这凸显了一条通向自我改进智能体的路径。