论文
SAPS:通过将远程操作与预训练的 VLA 相结合来实现策略指导的共享自治
SAPS: Shared Autonomy for Policy Steering by Blending Teleoperation with a Pretrained VLA
摘要
视觉-语言-动作(VLA)模型的最新进展在机器人操作方面展示了令人印象深刻的通用能力,但这些策略在分布外空间和语义扰动下可能很脆弱。虽然人类远程操作提供了可靠的恢复,但它可能需要高认知负荷和精确的手动控制,并且现有的策略引导方法通常需要辅助模型或采样器修改。在这项工作中,我们引入了政策指导共享自治(SAPS),这是一个将实时人类远程操作命令与行动级别的预训练政策行动相结合的框架。 SAPS requires no policy retraining, auxiliary dynamics models, or architectural modifications.我们提出并评估了三种仲裁策略来平衡人类和 VLA 策略控制,包括计算人类和策略行为之间的几何一致性的动态余弦相似性仲裁策略。在模拟(LIBERO、LIBERO-PRO、CALVIN)和现实世界机器人硬件的评估中,SAPS 在模拟和现实世界中将任务成功率比自主执行提高了高达 82%。此外,与纯远程操作相比,我们的方法大大减少了人为干预,同时比自主执行和纯远程操作实现更快的任务完成时间。这些结果表明,动作级共享自治是一种实用的、与模型无关的方法,可在涉及人类操作员的现实环境中可靠地部署通用机器人策略,在辅助远程操作和可扩展数据收集方面具有广阔的应用前景。