论文
一个模型,两个物理故事:多模态世界建模中的对齐审计
One Model, Two Physical Stories: Auditing Misalignment in Multi-Modal World Modeling
摘要
世界模型在生成下一状态时依赖当前环境条件,目前多模态生成被广泛采用。然而,同时生成多种模态(如视觉模拟与文本形式的物理状态预测)会引入跨模态不一致风险。单独测试时,各输出可能看似合理却存在分歧:模型可能在一种模态中计算出球应反弹,而在另一模态中却未生成反弹,更不用说与真实物理规律完全偏离。本工作聚焦两种明确失败:内部不一致,即世界模型生成的视频与不同模态预测之间的矛盾;外部不一致,即世界模型生成内容与分析物理环境之间的偏差。我们构建了事件、幅度、时间等共同契约,并设计了基于物理规律的可测量对比流程,用于内外部场景的评估。随后我们探究是否通过逐步引入模型自身契约(内部场景的A阶梯)或修正后的物理契约(外部场景的B阶梯)能够缩小相应差距。在四种机制和20种设置中发现,尽管语言模态在所有22个文本探针中正确反映了真实环境,但中立视频输出常存在分歧,表明当前统一的模型骨干结构可能无法同时实现正确推理、内部一致性及外部物理真实性。
