潜意识学习中的跨特质迁移

潜意识学习是一种现象，其中学生模型语言模型通过训练在语义不相关的输出上获取教师模型模型的行为特征。这是一种微妙的统计现象，因为特征传播依赖于生成数据中的弱统计模式。为了了解教师模型-学生模型对之间的性状传递，我们研究了跨性状传递：在一个教师模型性状下生成的数据如何改变学生模型对其他性状的偏好。为此，我们引入了一个定向特征转移矩阵，该矩阵使用学生模型答案的对数概率增益来量化这些影响。我们发现特征转移矩阵揭示了相关特征的集群，学生有时会对与教师模型的特征相似但不相同的特征产生偏好。这种跨特征结构可以通过输出分布度量和基于表示的度量来部分捕获。此外，我们分析了特质的发展和相互作用：学习动态显示了从广泛共享转变到更多特质特定转移的进展，并且多特质实验表明相反的特质可以增强这种分化。总之，我们的研究结果揭示了特质转移和竞争的显着统计结构，从而为潜意识学习中隐藏偏好如何传递提供了更广泛的视角。