机器人操作中的身体知识、同步经验与技能复用

通用多模态Agent能够编写机器人控制程序，但重复探索与模型介入的动作选择可能使执行缓慢。我们研究外部身体知识、成功经验和可执行技能，如何改善由GPT-6-Astra控制的XLeRobot在仿真及真实电梯按钮任务中的表现。在30次固定起点仿真中，相对于只有通用控制接口、没有既有经验的基线，完整机器人几何和相机信息使平均完成时间降低57.4%；无需额外身体资产，同步动作及状态记录的图像经验使其降低68.6%。在起点偏移10至100厘米的九组配对比较、共18次试验中，原起点记录的经验相对于无经验使平均时间降低58%至63%，显示对受测新起点的泛化。在经验实验中，GPT-6-Astra自发生成短视觉反馈程序；研究者重构后的版本在27次仿真中使平均局部任务时间再降低29%至31%。最后，12次真实机器人试验使用操作员确认的按钮接触，展示仿真到现实复用：在共同名义起点，仿真XML资产和仿真经验分别使平均时间降低53.0%和49.9%；真实经验也迁移到两个新起点。这些结果提示围绕GPT-6-Astra开展通用操作实验的实用途径：提供机器可读身体描述和同步示范，把Agent生成的有效反馈例程转成可复用技能，同时让Agent根据当前图像调整动作。全部任务提示、逐试验数据和获得的技能实现已发布。 https://github.com/hesd10/astra-robot-sim2real