论文
顺序学习的几何:转移顺序的李括号预测
The Geometry of Sequential Learning: Lie-Bracket Prediction of Transfer Order
摘要
顺序学习是顺序相关的:从堆式下一个词元域适应到指令 SFT 和 DPO,N 个候选源诱导 N!可能的课程。我们证明,局部序效应是由可计算的几何量(梯度更新场的李括号交换器)控制的,从而产生 A->B 或 B->A 对于目标域是否更好的成对分数。成对括号原语还定义了 Lie-Bracket Tournament:使用共享的 theta_0 目标梯度参考,Hessian 对称性从每个源的一个 Hessian 向量乘积、O(N) 点积和 O(N log N) 排序给出 Borda/行和分数,而不具体化 O(N^2) 边缘矩阵。根据经验,规划器在指令 SFT/DPO 的 k=1 时达到 98.1%/98.9% 的成对准确度,在 k=20 时保持在 73.1%/72.2%,并保留原始预训练域证据,在四个 LLM 上的准确度为 82.4-92.0%,扩散时的准确度为 91.1%。在课程规模上,它恢复了所有 3 个中最好的!安排了 87.5% 的试验,将 Python 目标的 85 个 Stack 编程语言源域排在第 99 个采样百分位数,并在 56 个 MMLU 受试者上达到第 99.0-99.6 个采样百分位数,远高于报告的下降梯度范数基线。这些结果将顺序学习重新定义为几何锦标赛问题:交换器提供本地成对顺序信息和多域调度的可扩展原语。