用于语言引导拾放操作中预测 3D 表示的预测感知高斯泼溅

我们引入了预测感知高斯分布 (Forecast-GS)，这是一种用于语言条件机器人操作的预测 3D 表示框架。虽然最近的操纵系统通过将语言指令融入机器人可供性、价值图或关系关键点约束中取得了进展，但它们通常对当前场景进行推理，并且不会明确地对任务完成状态进行建模。当成功取决于在部分观察下满足空间和语义目标时，这种限制至关重要，其中机器人必须评估候选动作是否会导致可行的任务一致结果。我们在现实世界的拾取和放置操作任务中验证 Forecast-GS，包括从刀具到盒子、从苹果到碗和从海绵到托盘。对于每项任务，我们使用相同的机器人平台和传感设置在不同的初始对象配置下进行 25 次现实世界试验。具有自动候选选择功能的 Forecast-GS 在这三项任务上分别实现了 21/25、23/25 和 16/25 的成功率，优于 ReKep 基线（实现了 15/25、19/25 和 10/25）。人工辅助诊断设置进一步将成功率提高到 23/25、24/25 和 19/25，这表明候选生成是有效的，而自动排名仍然不完善。这些结果表明，明确预测任务完成的 3D 状态可以实现更可靠的动作评估，而自动选择和人工辅助选择之间的差距表明，稳健的最终状态排名仍然是完全自主操作的重要挑战。总体而言，Forecast-GS 在语言理解、3D 感知和机器人操作规划之间提供了一座可解释的桥梁。