论文
流形外细化:使用冻结世界模型指导视频生成器
Off-Manifold Refinement: Guiding Video Generators with a Frozen World Model
摘要
视频生成器常产生漂浮、违背重力或接触消失等物理错误,去噪与流匹配目标并不显式惩罚这些问题。已有候选搜索、世界模型梯度指导、内部反复去噪或后训练常增加较多成本。OMR在推理时直接把世界模型反馈注入一条采样轨迹:在安排好的中间ODE步骤,利用适配器空间的V-JEPA 2.1意外度能量梯度修正生成器速度场,使潜变量偏离原轨迹、靠近冻结预测器认为更符合物理的区域,再继续生成。小型潜变量到嵌入适配器使推理梯度可计算,视频生成器和世界模型都保持冻结。在固定400个提示的VideoPhy-2子集上,Wan2.2-T2V-A14B的语义遵循与物理常识联合指标从47.0%升到52.0%,即5.0个百分点、相对10.6%。独立50提示效率子集耗时为基础运行的1.71倍,相比多候选奖励或搜索方案成本较低。项目:https://itruonghai.github.io/omr。