走向对准动力学的物理直觉：随机结晶的案例研究

语言模型的一致性通常是通过能力基准的角度来研究的，但对 后训练 期间模型如何变化的动态仍然知之甚少。我们认为，物理科学，特别是热力学相变理论，为推理这些动力学提供了有原则且尚未充分探索的词汇。作为一个案例研究，我们通过材料结晶的角度来实例化这个位置，这是经过充分研究的热力学相变。对于随机数生成等任务，这分为三个阶段：（1）预训练模型中的高熵液相，模型可提示许多不同的采样分布； (2) 由监督微调引起的成核阶段，其中行为崩溃到预训练的 LLM 中存在的单个种子分布上； (3) 稳定阶段，其中强化学习技术重新分配折叠分布的概率，但很大程度上使其集中在与种子分布相同的选项上。我们提出直观的指标来验证这些阶段之间的转换，并在一系列随机任务中验证这个想法。结晶是一类更广泛的物理框架的一个例子，我们认为对齐研究应该用来回答以下问题：对齐引起的结构从何而来，为什么它会在它所在的地方聚合，以及它从根本上不能改变什么。