MagicSim：可执行具身交互的统一基础设施

机器人学习和具身智能体现在需要模拟作为链接控制、技能和规划的共享执行基础，而不仅仅是作为渲染器、控制器测试台或固定任务环境。现有的管道通过“神奇”动作、断开连接的训练环境或无法重现、评估和注释同一片段的仅前向渲染来分割这些层。我们提出了 MagicSim，这是一种围绕确定性批处理运行时和共享马尔可夫决策过程 (MDP) 构建的具体交互基础设施。从解耦内容、布局、行为和代理暴露的 YAML-first 规范开始，MagicSim 在一个重置和步骤循环中构建了跨越任务系列、交互机制、物理、布局、传感器、化身和机器人实施例的多样化可执行世界。通用执行接口通过控制器、原子技能、规划器原语和异步规划来实现高级命令，将它们实现为机器人动作而不是模拟器端状态编辑。一个任务定义支持三种功能：基准测试和强化学习评估、自动将命令转换为基础轨迹的自动收集接口，以及面向代理/VLM 的交互。对于自动执行，命令流经命令->技能->规划器->机器人->记录管道，而每个环境的命令、技能、规划、重试、注释和回合状态在共享物理刻度之上独立前进。成功的执行轨迹被保存为结构化的多模态轨迹，将语言监督、动作表示、视觉/几何表示以及任务级状态与执行回合保持一致。因此，MagicSim 将不同的世界构建、具体执行、任务评估、自动部署生成和交互式代理界面统一在一个规划器在环运行时中。