EgoTL：用于长期任务的以自我为中心的有声思考链

大型基础模型在具身智能方面取得了重大进展，能够对家务任务的自我中心输入进行综合和推理。然而，基于 VLM 的自动标记通常存在噪音，因为主要数据源缺乏准确的人类动作标签、思维链 (CoT) 和空间注释；这些误差在长视野空间指令跟踪过程中会被放大。这些问题源于对时长一分钟的日常家庭计划任务的覆盖不足以及空间定位不准确。因此，VLM 推理链和世界模型合成可能会产生幻觉对象、跳过步骤或无法尊重现实世界的物理属性。为了解决这些差距，我们引入了 EgoTL。 EgoTL 为以自我为中心的数据构建了一个有声思考捕获管道。它使用先说后行动协议来记录分步目标和带有单词级时间戳的口头推理，然后使用公制尺度空间估计器、场景上下文的内存库演练以及用于导航指令和详细操作操作的剪辑级标签来校准物理属性。借助 EgoTL，我们能够在来自三层的六个任务维度上对 VLM 和世界模型进行基准测试，并在 100 多项日常家庭任务的一分钟长序列上进行长视野生成。我们发现基础模型仍然不足以作为以自我为中心的助手或开放世界模拟器。最后，我们使用人类 CoT 与 EgoTL 训练分割上的度量标签对齐来微调基础模型，从而改进了长期规划和推理、逐步推理、指令跟踪和空间基础。