SkillHarness：面向计算机使用智能体的安全技能利用

计算机使用代理 (CUA) 越来越多地部署在动态交互环境中，从而对交互过程中持续技能学习的需求不断增长。最近的方法通过从成功的轨迹中学习可重用的技能来应对这一挑战。然而，这些技能学习方法很大程度上假设静态和安全的环境，忽视了对抗性交互（例如即时注入）和环境动态（例如弹出窗口）带来的风险。在动态环境中，此类假设可能会导致危险的技能学习和脆弱的执行，从而破坏 CUA 的可靠性。这就提出了一个问题：CUA 如何在动态环境中安全地学习和使用技能？为了解决这个问题，我们提出了 SkillHarness，一个动态环境中安全技能利用的框架。 SkillHarness 通过将技能学习和利用建模为安全约束的交互过程，超越了静态技能抽象。具体来说，我们引入了技能边界，利用多源监督信号从交互轨迹中识别安全技能，并在整个技能生命周期中构建自我改进的安全约束。此外，SkillHarness引入了选择性技能重用，引导任务根据上下文进行分解，并通过选择性激活技能子集来完成。我们的实验表明，SkillHarness 将所学技能的不安全率显着降低了 57.1%，并持续提高了动态环境变化下的执行稳定性，优于现有基线。