用于负约束灵巧抓取的势引导粒子转向

当指令指定抓握位置时，语言驱动的灵巧抓取模型（例如 DextER）表现良好，但我们发现当指令还指定不抓握位置时（例如，“抓住手柄但避开身体”），它们会系统性地失败。现有的训练语料库（其中包括 DexGYSNet）几乎不包含回避指令，并且为每个可能的约束收集示例是不切实际的。此外，由于训练期间提到的每个部分都表示接触目标，因此模型可能会将禁止部分解释为另一个需要掌握的区域，而不是需要避免的区域。因此，我们引入了一个用于否定约束灵巧抓取的推理时间框架，不需要特定于否定的训练示例。将顺序蒙特卡罗与无分类器引导相结合，我们的方法引导采样朝向指示部分，同时修剪前往禁区的候选者，在训练期间没有任何否定示例。冻结的 3D 部分基础模型从语言指令中定位禁区。为了评估此设置，我们构建了 NegGrasp，这是一个由成对的正/负指令和约束感知指标组成的基准，只有在完成任务并遵守规定的约束时才认为掌握。在 NegGrasp 上，我们的方法将最强基线的违规率从 57.9% 降低到 17.2%，同时提高约束意识和物理成功率。