论文

IntentScore:面向计算机使用智能体的意图条件化动作评估

IntentScore: Intent-Conditioned Action Evaluation for Computer-Use Agents

模型训练奖励建模与过程监督

摘要

计算机使用智能体(CUA)利用大语言模型在桌面环境中执行GUI操作,但它们生成动作时并不评估动作质量,导致不可逆的错误在后续步骤中级联传播。我们提出IntentScore,一个规划感知的奖励模型,它从跨越三种操作系统的398K离线GUI交互步骤中学习为候选动作打分。IntentScore以两个互补目标训练:用于状态-动作相关性的对比对齐,以及用于动作正确性的间隔排序(margin ranking)。在架构上,它将每个候选的规划意图嵌入动作编码器,使其能区分动作相似但理据不同的候选。IntentScore在留出评估上达到97.5%的成对判别准确率。作为重排序器部署于Agent S3在OSWorld(一个训练期间完全未见的环境)上时,IntentScore将任务成功率提升6.9个百分点,证明从异构离线轨迹中学到的奖励估计能泛化到未见过的智能体与任务分布。

IntentScore:面向计算机使用智能体的意图条件化动作评估:论文配图
图 1:IntentScore 的架构。状态编码器每步计算一次;意图感知动作编码器是根据候选者计算的。奖励估计是温度尺度的余弦相似度。训练使用双重目标:状态-动作对齐 (InfoNCE) 加上奖励学习(硬阴性的利润排名)。