论文

解锁哈密顿视频动力学模型中的时间泛化

Unlocking Temporal Generalization in Hamiltonian Video Dynamics Models

模型评测模型行为与机制分析

摘要

世界模型通常经过训练以预测离散时间物理动力学,并将固定步长融入模型权重中,从而防止以可变时间分辨率进行预测。这对于分层规划、模拟到真实的传输以及必须在多个时间尺度查询相同动态的科学或游戏引擎应用程序很重要。哈密​​顿生成网络(HGN)提供了一条原则性的前进道路,以连续时间能量函数为基础的预测,原则上与观测帧速率无关。然而,在实践中,它们的时间概括在非保守环境中会崩溃。我们表明,在外部强制的耗散环境中,由于不同的故障模式,超出训练范围的步长的 HGN预测轨迹展开会失败,包括由不受约束的作用力图驱动的潜在幅度增长,以及来自解析不足的积分器的全局截断误差累积。我们为每种机制确定了一个有针对性的修复方案,并在训练分布之外的时间分辨率下展示了稳定的动态预测。在详细分析中,我们推荐了几种在连续时间视频生成中实现时间泛化的策略。