ComAct：通过 COM-as-Action 范式重新构建专业软件操作

摘要

现有的计算机使用代理在专业软件操作方面仍然受到根本限制：基于 GUI 的代理遭受脆弱的视觉定位和长期错误累积的影响，而基于 API 的方法则与异构协议和难以访问的商业接口作斗争。在这项工作中，我们将组件对象模型 (COM) 确定为统一的可执行抽象，并提出 COM-as-Action：一种将专业软件交互重新构建为确定性程序合成而不是顺序视觉控制的新范式。为了在最苛刻的环境中验证这一范例，我们推出了 ComCADBench，这是针对操作真实工业 CAD 软件的代理的第一个基准。我们的实验揭示了一个巨大的范式差距：前沿专有模型在基于 GUI 的交互下取得的成功几乎为零，而基于 COM 的执行则产生了巨大的直接收益。为了弥补语法正确性和几何准确性之间的差距，我们开发了 ComActor，一种通过渐进式三阶段框架训练的自我校正代理，以及 ComForge，一个用于 Windows 容器中大规模训练的可扩展平台。大量实验表明，ComActor 在 ComCADBench 上实现了最先进的性能，在基线崩溃的长期任务中具有强大的弹性，并可推广到外部 CAD 基准。