HeteroGenManip：异构对象交互的通用操作

涉及跨类型对象交互的通用操作是机器人技术中一项关键但具有挑战性的能力。为了可靠地完成此类任务，机器人必须解决两个基本挑战：“在哪里操纵”（接触点定位）和“如何操纵”（后续交互轨迹规划）。现有的基于基础模型的方法通常采用端到端学习，这模糊了这些阶段之间的区别，加剧了长期任务中的错误积累。此外，它们通常依赖于单一的统一模型，而该模型无法捕获异构对象所需的多样化、特定于类别的特征。为了克服这些限制，我们提出了 HeteroGenManip，这是一个任务条件化的两阶段框架，旨在将初始掌握与复杂的交互执行分离。首先，基础对应引导抓取模块利用结构先验来对齐初始接触状态，从而显着降低抓取的姿势不确定性。随后，多基础模型扩散策略（MFMDP）将对象路由到类别专用基础模型，通过双流交叉注意机制将细粒度几何信息与高度可变的零件特征集成。实验评估表明 HeteroGenManip 实现了稳健的类别内形状和姿势泛化。该框架在具有广泛类型设置的模拟任务中实现了平均 31% 的性能提升，同时在具有不同交互类型的四个现实世界任务中实现了 36.7% 的性能提升。