DeskForge桌面环境稠密监督

计算机使用智能体需要在复杂桌面场景中可靠接地动作目标：多个应用、重叠窗口和视觉相似控件争抢注意力。现有训练数据很少把这类场景与稠密标注配对或做受控变化。我们提出DeskForge，一个可控桌面环境，可组合并探索真实应用以生成大规模监督：变化应用状态、内容、窗口布局、外观与分辨率，将截图、可访问性树和窗口几何融合为稠密元素标注，并记录每个执行动作的结果。基于该环境我们构建DeskForge-1M语料：120万条标注桌面观测、1.597亿个元素实例。用其中20万条接地样本微调四个视觉语言模型后，四者在留出桌面条件和全部五个外部GUI接地基准上均改善：Qwen3.5-4B在ScreenSpot-Pro提高11.51个百分点，OSWorld-G提高10.11点。收益还转化为长程任务完成：固定规划器下，微调后的动作模型在WebArena-Infinity完成数从31升至50/119，OpenApps从3升至15/100。结果表明真实桌面环境的可控组合是改善GUI接地与长程计算机使用的可扩展监督来源。框架代码、数据集与微调模型见项目页。项目页：https://saidgurbuz.github.io/deskforge/。