论文

世界模型的柏拉图表示假说

Platonic Representation Hypothesis on World Models

模型评测模型行为与机制分析

摘要

世界模型已经展示了感知和模拟复杂环境的巨大潜力。尽管它们表现出色,但人们对它们学习到的表征的基本性质仍然知之甚少。在本文中,我们通过提出预测一致性假设来研究该领域内的柏拉图表示假说:我们假设共享状态转换目标的优化充当一种选择压力,鼓励异构模型向共享潜在结构收敛。通过对 DINO 世界模型 (DINO-WM) 的系统实验,我们改变视觉编码器来创建异构模型,我们发现有能力的世界模型朝着几何相似的内部结构演化。此外,通过模型拼接,我们表明一个世界模型的内部特征可以映射到另一个世界模型,而性能下降有限,从而提供了功能兼容性的证据。我们的研究结果表明,追求预测一致性可以促进世界模型之间共享的、过渡兼容的潜在结构。