AppDeltaWorld：移动GUI Agent中基于状态转换的增量代码世界模型

移动GUI代理可以通过像素感知和触控操作来执行应用程序，使它们成为收集和改进长期移动交互策略的有希望的界面。然而，对于敏感的应用程序和隐私相关的操作，真实轨迹难以获取。同时，现有的模拟环境成本高昂，并且GUI世界模型仍然存在不稳定生成、有限的模态覆盖和不一致的动作转换逻辑等问题。为了解决这些问题，我们提出了AppDeltaWorld，这是一种基于过渡的差分代码世界模型，它预测下一个GUI作为可到达的代码更新，而不是无约束的图像或文本描述。AppDeltaWorld在行动-转换约束下检索特定应用的Level-1 HTML参考，并根据当前屏幕、动作、预测后的屏幕文本和检索到的结构生成Level-2可执行HTML，然后在浏览器渲染之前插入生成的视觉资产。作为世界模型，AppDeltaWorld在CMGUIBench-500的Code2World评估中达到了最高的保真度，在结构布局和UI元素重建方面取得了明显的改进，而与图像基线和代码基线相比，这些基线仅关注图像或代码本身。作为训练环境，AppDeltaWorld支持过滤后的闭环SFT数据构建，当与公开监督相结合时，使AppDeltaAgent在AndroidLens上达到最先进表现，并在MobileGym和MobileWorld上获得一致提升。此外，基于世界模型的测试时间强化学习允许策略适应性，并且无需额外与真实应用程序交互，进一步提高了性能。