ToolCUA：迈向计算机使用智能体的最优GUI-工具路径编排

计算机使用智能体（CUA）既可通过点击、输入等原子GUI动作行动，也可通过基于API的文件操作等高层工具调用行动，但这一混合动作空间常使其不确定何时继续GUI动作、何时切换到工具，导致执行路径次优。这一困难源于高质量GUI-工具交错轨迹的稀缺、采集真实工具轨迹的成本与脆弱性，以及GUI-工具路径选择缺乏轨迹级监督。本文提出ToolCUA，一个通过分阶段训练范式学习最优GUI-工具路径选择的端到端智能体。我们首先提出交错式GUI-工具轨迹扩展流水线，复用大量静态GUI轨迹并合成一个环境关联的工具库，无需人工工程或真实工具轨迹采集即可获得多样的GUI-Tool轨迹。随后执行工具引导的GUI RFT（Tool-Bootstrapped GUI RFT），将预热SFT与单轮RL结合，以改进关键GUI-工具切换点的决策。最后，我们在高保真GUI-工具环境中以在线智能体RL优化ToolCUA，由鼓励恰当工具使用与更短执行路径的工具高效路径奖励（Tool-Efficient Path Reward）引导。在OSWorld-MCP上的实验显示，ToolCUA达到46.85%的准确率，相对基线提升约66%，在同规模模型中创立新的最优水平。相比纯GUI设定还提升3.9%，展现了有效的GUI-工具编排。结果进一步表明，在混合动作空间中训练是真实世界数字智能体的一个有前景的范式。已开源：https://x-plug.github.io/ToolCUA/