论文
学习动态中的内外因素耦合:局部修正的收益取决于后续训练
Intrinsic-Extrinsic Coupling in Learning Dynamics
摘要
学习者当前的观测不必能决定其对后续训练的反应。本文用受约束学习状态干预在不同后续训练条件下的价值,定义内外因素耦合;相对观测定义的纤维表示当前观测一致的状态集合。可执行的有限框架分类器头写入,在有限精度验收检查下保护当前logits,同时修复指定的历史分类间隔。研究区分局部可接受性、以后续过程为条件的干预价值和完整策略性能。四个匹配实验条件的对比,识别相同内部干预与不同外部后续过程在特定评价指标上的非加和性。在基于CLINC的类别增量任务中,加入回放使该写入在32次更新后带来的正确预测增量从五个变为零。输出蒸馏、RoBERTa主干和优化器原生SGDW动态下也出现非零交互。在SGDW下,128次更新时三个已激活起始状态的正确数量交互项均为负,说明耦合未必意味着正向协同。数学分析区分了可行的局部修复、良好最终输出与训练能够到达的修复区域。独立协调测试显示,内容对照达到或超过开发集收益;另一个包含五个起始状态的新测试比较,在每个实验组均保留Fiber,其正确数量效果依赖起始状态,并非一致有益。在次要的交叉熵指标上,引导分配在五组配对中的平均损失都低于标准回放。结果通过连接可执行状态几何、后续条件下的价值、匹配交互识别与闭环协调,使内外耦合成为可操作的研究对象,同时将识别出的耦合与完整策略性能区分开来。