论文

Ego2World:自我中心烹饪视频编译为可执行世界

Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning

智能体系统Agent任务评测长程任务评测

摘要

自我中心视频记录了人们如何执行日常活动,但测试智能体需要评估其自选动作的后果。我们提出Ego2World——把标注的烹饪活动编译为部分观测下可执行规划环境的基准:编译器把源步骤与对象链接到符号动作规则、持久世界状态与显式任务条件,研究者可执行智能体提议的动作并检查结果。世界状态与智能体信念分开维护,支持跨连续任务的规划与信息复用受控研究。六种规划器在105个任务上的评估显示:被接受的操作常未达成任务目标;执行轨迹与条件检查区分了中断运行、部分达成与完成执行但未达目标。在单独的Qwen-Plus配对研究中,持续信念使动作有效性提升4.15个百分点、视觉查询尝试减少90.27%,代价是更高token使用且未检测到完成增益。Ego2World为追踪规划与记忆选择如何影响执行、观测需求与任务达成提供可复用试验床,把录制的人类活动与交互智能体的开发和评估连接起来。