HelixWorld：实时交互式视听世界模型

世界模拟本质上是多感官的，需要实时同步的视觉和声学动态。然而，流行的交互式世界模型仍然保持沉默，只专注于视觉渲染和控制，而忽视了声学维度。我们rollout了 HelixWorld，这是一种实时交互式视听世界模型，其中视觉场景和基于摄像头的空间立体声在用户交互下自然共同演化。我们策划了一个具有真实立体声和公制相机姿势的高保真空间视听数据集，在此基础上我们根据 6-DoF 相机轨迹和用户动作预训练了双向教师。为了实现低延迟因果交互，我们通过在线轨迹蒸馏损失将教师提炼为几步流学生，在单个 GPU 上以 24 FPS 维持无漂移联合视听rollout。此外，我们形式化了空间声学一致性，并引入 HelixBench 来评估合成声场是否忠实地跟踪动态视点运动。大量实验表明，HelixWorld 在视觉保真度和响应能力方面可与最先进的无声世界模型相匹配，同时在相机对齐的空间声学沉浸方面显着超越现有基线。