Ego2World：将以自我为中心的烹饪视频编译成可执行的世界以进行信念状态规划

家庭环境中的具体代理必须在部分观察下进行计划：它们需要记住对象、跟踪状态变化并在操作失败时进行恢复。现有的基准测试仅部分测试了这种能力。以自我为中心的视频数据集捕捉现实的人类活动，但仍然是被动的，而交互式模拟器支持执行，但依赖于合成场景和手工制作的动态，引入了模拟与真实的差距，并且通常假设完全可观察的状态。我们引入了 Ego2World，这是一个可执行的基准测试，它将以自我为中心的烹饪视频转变为受图形转换规则控制的可执行符号世界。 Ego2World 基于 HD-EPIC 构建，从视频注释中导出可重用的转换规则，并在隐藏的符号世界图中执行它们。在评估过程中，模拟器维护隐藏的世界图，而代理仅使用本地观察和执行反馈来规划其自己的部分置信图。这种分离迫使智能体在不观察真实世界状态的情况下更新记忆并重新计划。实验表明，动作重叠分数高估了身体状态的成功，持久的信念记忆可以提高任务完成率，同时减少重复的视觉探索——这表明信念维持应该是体现主体评估的首要目标。