论文

TRACE:按目标状态风险选择性限制VLA跟随动作

TRACE: Target-State Risk-Aligned Conditional Execution for Embodied Tracking

智能体系统模型训练应用与实践强化学习Agent 动作执行与治理机器人Agentic RL

摘要

具身视觉跟踪要求机器人在遮挡、相似干扰物与含糊指令下,跟随由语言指定的目标人物。我们发现,跟踪持续性改善的同时,安全违规也可能增加。使用冻结骨干的紧凑0.6B视觉语言动作(VLA)跟踪器,我们仅以近端策略优化(PPO)更新规划头。PPO在三种EVT-Bench设置中均提高成功率和跟随率,但在干扰跟踪场景提高了碰撞率:原本以目标丢失结束的回合,现在可能以发生接触结束。我们提出TRACE,一种执行时目标状态风险门控,保留已学策略并选择性干预。轻量风险头处理84项线索,包括候选框、身份区分裕度、学习得到的距离与方位探针,以及策略命令。当校准风险超过阈值时,TRACE缩放下一路点的平移分量,保持偏航分量不变。超过98%的时间步,其执行动作与PPO相同。在相同回合的配对评测中,TRACE使干扰跟踪碰撞率降低3.96个百分点,同时进一步提高成功率和跟随率。仅做匹配减速、但不依据目标状态选择干预时机的对照,无法复现这一改善。并行评测复现了3.77个百分点的碰撞降低,而相同实验臂构成的零效应配对为0.29个百分点,说明该效果超出评测波动。这些结果表明,感知目标状态的执行机制可以用最少干预抵消策略后训练带来的安全代价。

TRACE:按目标状态风险选择性限制VLA跟随动作:论文配图
图1:持续跟随带来的安全代价,以及消除这种代价的门控机制。(A)机器人须在干扰与歧义下,始终让由语言指定的人处于视野中;对规划头使用PPO使跟随更持久,而在受干扰的跟踪中,部分持续跟随最终导致接触。(B)TRACE根据目标状态线索给下一动作评分,仅在分数越过阈值时调整动作的平移分量;超过98%的步骤保持动作不变。