论文

桥接前沿推理与机器人执行:自主演示生成与稠密语言监督

Bridging Frontier Reasoning and Robot Execution: From Autonomous Demonstration Generation to Dense Language Supervision

摘要

前沿模型的近期进步使机器人操作仅需少量演示,但高推理延迟限制其用于实时控制。为弥合该差距,我们研究连接前沿推理与低延迟本地执行的两种互补方法。第一:用前沿模型自主生成演示补充人类演示以训练快速本地策略——把展示如何从物理错误恢复的纠正性演示段加进其上下文示例以提高生成可靠性;随着成功示例在上下文积累,生成时间与成本下降,提示更高效的数据收集路径。部署时,Harness把前沿生成的指令与快速本地策略结合:实现高效执行同时保留前沿模型引导与纠正动作的能力。低延迟执行委托给本地策略后,瓶颈转移为其可靠跟随前沿模型多样指令的能力。第二座桥引入跨三个嵌套粒度(原语、原子、复合)的稠密语言监督,每层带多方面描述。在RoboCasa 365与BEHAVIOR-1K的长程任务(指令随执行进展变化)上,组合监督在oracle与前沿模型指导者下都取得最高性能,证明经策略语言接口的更可靠指令跟随。最后在固定时间预算内结合语义规划与操作的填字任务上评估两桥并用。结果支持自主演示生成与稠密语言监督作为连接前沿推理与低延迟本地执行的互补组件。