从密度矩阵到深度学习中的相变：光谱早期预警和可解释性

现代人工智能研究的一个关键问题是预测和理解训练期间模型中的涌现能力。受量子化学反应研究方法的启发，我们提出了“2-数据点降密度矩阵”。我们证明该对象在训练期间提供了计算高效、统一的相变可观测值。通过在滑动窗口上跟踪 2RDM 的特征值统计，我们得出两个互补信号：光谱热容（我们证明它可以通过临界减速提供二阶相变的早期预警）和参与比（它揭示了基础重组的维度）。值得注意的是，2RDM 的顶部特征向量是可以直接解释的，这使得我们可以在四种不同的设置中进行验证：深度线性网络、感应头形成、grokking 和涌现的失对齐，然后我们讨论使用 2RDM 的未来工作方向。