Ludi${}_{\scriptscriptstyle 0.1}$：社交智能机器人的代理系统

机器人基础模型具有相当先进的感知和控制能力，但自然的人机协作需要的不仅仅是执行孤立的命令。机器人必须识别歧义，在转弯时保持上下文，传达其意图，并随着用户意图的变化而修改正在进行的行为。我们提出了 $\scriptstyle\mathsf{Ludi}_{\scriptscriptstyle 0.1}$，这是一个社交智能机器人的代理系统，集成了交互式语音、多模态推理、记忆、导航和学习操作。其决策核心是一个经过微调的视觉语言模型，该模型经过多轮交互轨迹的训练，涵盖模糊的请求、澄清、更正、中断、混合社交和任务对话以及多步骤任务。专门构建的Harness管理模型工具交互循环，而专门的导航和操作策略则执行物理技能。 Ludi${}_{\scriptscriptstyle 0.1}$ 展示了当今流畅的人机协作的实用路径，同时生成为机器人和人类开发更深入集成的基础模型所需的多模式交互轨迹。