了解您的身体：使用 VLM 进行直接和自我改进的机器人控制的Harness

通用视觉语言模型可以在不知道特定机器人的运动和功能部件如何产生预期效果的情况下理解任务目标。我们引入了 KnowBody，一种使这些与动作相关的身体关系变得明确、可查询和可修改的工具，同时保持模型权重冻结。部分身体模型从一条非任务轨迹初始化，指导动作选择和对过去交互的解释。新的证据完善了模型，并且依赖于修订后的身体估计的知识在重新使用之前会被重新检查。在针对 4 个真实机器人任务的 32 次固定预算试验中，初始化的 KnowBody 实现了 75% 的完成率，而本地Harness的完成率为 25%，并且在两个任务中成功试验时需要更少的计划轮次。启用持久更新后，从第一次到第五次成功记录的规划轮次减少了 29-53%。