GSAM：用于铰接式物体操作的通用且安全的机器人框架

铰接式物体操纵对于服务机器人来说是一个独特的挑战。现有方法采用端到端策略学习、视觉运动规划和大语言/视觉语言模型（LLM/VLM），但往往忽视了铰接对象的多样性以及末端执行器和手柄之间交互的复杂性，导致泛化能力有限和破坏性碰撞。为了解决这个问题，我们提出了 GSAM，一种用于铰接式对象操作的通用且安全的机器人框架。具体来说，基于视觉的感知器生成运动学参数。考虑到感知器中预先训练的标记会产生可能偏离常识的原始估计，我们提出了一种基于 VLM 的微调细化器，使用思想链 (COT) 常识推理来细化感知。为了防止破坏性碰撞，我们设计了一个交互约束函数生成器，将铰接对象、交互姿势和避障知识集成到基础中。 LLM 然后将这些约束功能化，并将其应用于轨迹和姿态规划。运动学感知操纵规划器可验证轨迹和姿势的可达性。对跨 5 个物体类别的 50 个铰链任务和 50 个随机初始化的末端执行器手柄配置的实验表明，与最佳基线相比，GSAM 降低了 3.1% 的标准偏差，提高了 36.0% 的操作成功率，分别证明了 GSAM 在实际场景中优越的物体泛化性和交互安全性。