论文

ConDA:从预训练扩散表示学习可辨识世界状态

Identifiable World Models from Pretrained Diffusion Representations

模型评测模型行为与机制分析

摘要

基于扩散的世界模型可以生成和预测高维动力系统中的轨迹,但预测准确性并不意味着它们的潜在坐标可以恢复潜在的状态变量或因果相互作用。我们询问冻结的预训练扩散模型是否可以配备可识别的坐标,而无需重新训练其生成 骨干模型。我们证明辅助变量非线性 ICA 保证可以转移到对比扩散对齐 (ConDA),它仅学习冻结扩散 潜变量 之上的轻量级对齐图。在标准 TCL/GCL 假设下,对齐表示识别潜在动态状态直至排列和分量可逆变换,保留潜在动态结构因果模型,并将滞后图恢复减少到转换 雅可比矩阵 稀疏性。我们针对物理和机器人视频系统中的 TDRL、CariNG、IDOL、temporal SuaVE 和 iVAE 评估基于 TCL、GCL 和 CEBRA 的 ConDA。 TCL 和 GCL 实现了近乎完美的块状状态恢复和具有竞争力的滞后图恢复,包括模拟落体系统中的精确恢复。在模拟双足机器人中,学习的动力学恢复了对 保留测试 控制扰动响应的符号和时间结构。这些结果表明,冻结的生成扩散模型可以配备可识别的、结构上可解释的坐标,并且可用于分析干预相关的动态。

ConDA:从预训练扩散表示学习可辨识世界状态:论文原图
图 1:拟议框架概述。 (a) 冻结的预训练扩散模型用作生成世界模型:它通过反转(实线箭头)将视频帧 $y_{t}$ 嵌入到扩散 潜变量 $x_{t}$ 中,并将 潜变量 解码回帧(虚线箭头)。 潜变量 又由潜在状态 $s_{t}$ 上的滞后动态 SCM 生成,由输入 $u_{t}$ 和独立噪声通过 $x_{t}=g(s_{t})$ 驱动。 (b) 基于 TCL 或 GCL 的 ConDA 仅使用时间或辅助信息训练轻量级地图 $h$,以获得 $z_{t}=h(x_{t})$。在非线性 ICA 假设下,$z_{t}$ 识别 $s_{t}$ 直至置换和分量可逆变换,并且可以提升回 $x_{t}$ 进行生成。 (c) 滞后因果结构在理论上以逆转换噪声 雅可比矩阵 稀疏性为特征,并根据与 $z_{t}$ 对齐的状态进行经验估计。通过预测对 保留测试 控制扰动的响应来验证在这些坐标中学习的动力学。