BLaDA：将语言与 3DGS 领域内的功能灵巧操作联系起来

在非结构化环境中，功能灵巧抓取需要语义理解、精确 3D 功能定位和物理可解释执行的紧密集成。模块化分层方法比端到端 VLA 方法更可控和可解释，但现有方法仍然依赖于预定义的可供性标签，并且缺乏功能灵巧操作所需的紧密语义-姿势耦合。为了解决这个问题，我们提出了 BLaDA（3DGS 领域中灵巧动作的桥接语言），这是一种可解释的零样本框架，它将开放词汇指令作为功能灵巧操作的感知和控制约束。 BLaDA 首先通过知识引导语言解析 (KLP) 模块将自然语言解析为结构化的六元组操作约束，从而建立可解释的推理链。为了实现姿态一致的空间推理，我们引入了三角功能点定位（TriLocation）模块，该模块利用 3D 高斯分布作为连续场景表示，并识别三角形几何约束下的功能区域。最后，3D 关键点抓取矩阵转换执行 (KGT3D+) 模块将这些语义几何约束解码为物理上合理的手腕姿势和手指级命令。对复杂基准的大量实验表明，BLaDA 在可供性基础精度和跨不同类别和任务的功能操作的成功率方面都显着优于现有方法。代码将在 https://github.com/PopeyePxx/BLaDA 上公开提供。