隐性强化学习：评判器的隐藏偏好可通过分数传给学生模型

隐性学习指模型特质通过没有该特质语义痕迹的数据发生迁移；此前已有学生模型从教师文本中学到特质的证据。后训练依赖由语言模型评判器提供分数的组相对策略优化，学生只从自身输出和一个评判器的分数中学习。我们表明，这也足以造成迁移：学生生成虚构音节或数字，受到偏爱某种动物的评判器评分后，相比由偏爱另一种动物的评判器评分的训练运行，学生的偏好会向前一种动物移动。在48个实验设计单元中，两个未通过有效性门控，17个在5%错误发现率下确立了该特质，包含只生成数字的单元；对其余单元，我们的分析解释了原因。仅去除评判器之间的奖励差异，迁移就随之消失。我们将这一原理建立为四阶段链条：特质必须体现在评判器分数中；分数须偏好那些能推动学生改变的字符串；影响须积累；最终须到达回答。使用其他数据或另一模型构造、但具有相同偏好的评判器，会把偏好赋予不同字符串，此时未检测到迁移。将同一链条不加修改地用于AI安全倾向时，它仍成立：不良倾向传至学生回答，且训练前测得的阶段指标能够预测哪些位置会出现迁移，从而帮助预防部分风险。