JEPA训练动力学的驱动-衰减理论

联合嵌入预测架构（JEPA）易发生表示坍缩，通常靠经验启发式缓解。我们建立统一这些启发式的早期训练稳定性理论：把耦合的JEPA梯度流在平凡不动点附近线性化，揭示两种竞争效应——驱动力γ与衰减σ。在近似谱解耦下，逐模态稳定性比μ=γ/σ分解为独立的数据侧与预测器侧项，不稳定模态数追踪可涌现表示的秩。该框架预测出一个相界，我们在800多个Tabular-JEPA配置上经验证实；并把预测器缩放、掩码比例与EMA统一为移动μ的不同机制。据此我们提出ResidualPred——初始化时注意力偏向恒等映射的transformer预测器，它同时提升有效秩与下游准确率，覆盖表格基准及CIFAR-10/100、STL-10与ImageNet上的I-JEPA预训练。该框架把经验性防坍缩启发式连接到显式动力学图景，产出理论驱动的稳定器。代码/项目页：https://github.com/jose-melo/drive-vs-decay。