论文

一个模型,两个物理故事:多模态世界建模中的对齐审计

One Model, Two Physical Stories: Auditing Misalignment in Multi-Modal World Modeling

模型评测评测方法与指标

摘要

世界模型在生成下一状态时依赖当前环境条件,目前多模态生成被广泛采用。然而,同时生成多种模态(如视觉模拟与文本形式的物理状态预测)会引入跨模态不一致风险。单独测试时,各输出可能看似合理却存在分歧:模型可能在一种模态中计算出球应反弹,而在另一模态中却未生成反弹,更不用说与真实物理规律完全偏离。本工作聚焦两种明确失败:内部不一致,即世界模型生成的视频与不同模态预测之间的矛盾;外部不一致,即世界模型生成内容与分析物理环境之间的偏差。我们构建了事件、幅度、时间等共同契约,并设计了基于物理规律的可测量对比流程,用于内外部场景的评估。随后我们探究是否通过逐步引入模型自身契约(内部场景的A阶梯)或修正后的物理契约(外部场景的B阶梯)能够缩小相应差距。在四种机制和20种设置中发现,尽管语言模态在所有22个文本探针中正确反映了真实环境,但中立视频输出常存在分歧,表明当前统一的模型骨干结构可能无法同时实现正确推理、内部一致性及外部物理真实性。

一个模型,两个物理故事:多模态世界建模中的对齐审计:论文配图
图1:同一生成未来中的两类对齐缺口。在相同机器人场景下,文本预测抓握成功,Isaac物理参考也能提起小瓶,但生成视频未实现抓握和抬升。视频与文本的分歧是内部失配,视频与环境的分歧是外部失配;视频与文本契约均由同一世界模型骨干输出。