WCM：可推广人机交互的世界认知模型

语言代理现在可以在软件中与用户流畅地交互，但机器人仍然难以为物理任务带来类似的交互。当前的机器人控制范例，包括视觉-语言-动作策略和基于世界模型的规划器，主要针对指令执行进行优化，使用户几乎无法了解为什么选择一个动作，也几乎没有通过交互来重定向、纠正或教导机器人的机制。为了解决这个问题，我们提出了世界认知模型（WCM），这是一个基于 SLAK 架构（感知、逻辑、动作和知识）和异步运行时构建的以人为中心的实体代理。 SLAK将感知、推理、控制和记忆分离，而运行时则允许推理、对话和执行同时进行。 WCM还引入了人机循环教学模式，使用户能够交互式地教导机器人执行困难或长期任务。教学片段和自主任务执行轨迹被细化为思想链监督，以不断改进模型。 WCM 在 9 个现实世界的人机交互任务中实现了 73.8% 的平均成功率，包括 CoT 微调 中的任务和通过教学学习的长期任务。