论文

SPT-Flow:以自由滚动监督提高连续时间世界模型的潜变量利用

SPT-Flow: One Integration, Many Futures in Continuous-Time World Models

模型训练应用与实践监督微调与指令调优机器人

摘要

连续时间世界模型通过单个 ODE 积分生成潜变量轨迹,但添加随机条件并不能确保模型使用它。在我们的教师强制基线中,后验均值变化仅约为先验尺度的1%,并且匹配和交换的潜变量在报告的精度下产生无法区分的重建 PSNR。我们研究了一个监督捷径假设:真实的中间状态可以减少对与轨迹相关的潜变量信息的需求。我们引入了 SPT-Flow,它对每条轨迹的一个潜变量进行采样,并在多个读出时间将自由运行的 ODE rollout与演示状态相匹配。重新锚定实验支持所提出的机制。在 LIBERO 上,两个模型都经过 30k 优化器步骤的训练,SPT-Flow 在中间轨迹和最终帧处将best-of-10 PSNR 比我们重新训练的 ODEWorld 基线提高了 2.0 和 2.4 dB,并将平均 LPIPS 降低了 23%,每个样本的推理成本相当。仅rollout的对照恢复了大部分精度增益;学习到的潜变量条件化增加了多样性和 best-of-K 增益,同时相对于该对照降低了平均样本精度。诊断支持与轨迹相关的潜在利用;机器人设置中匹配条件下的语义模式覆盖仍未得到验证。

SPT-Flow:以自由滚动监督提高连续时间世界模型的潜变量利用:论文配图
图 1:以相同初始帧和指令为条件的预测。 ODEWorld 产生一条轨迹; SPT-Flow 采样了三个,每个都经过一次积分。行显示 t/T=0.6 和 1.0。选择示例是为了多样性;模型设置如图 5 所示。