缓慢的衰退和沉默的表达：语言模型谱系中反复的潜意识特质转移

语言模型越来越多地根据其他模型的输出进行训练，形成我们称之为谱系的链，其中一代中存在的特征可以传递给下一代。先前关于潜意识学习的研究表明，教师的特质可以通过不包含任何特质内容的过滤数据传递给学生。然而，证据仅涵盖单个训练步骤。我们研究这种特征在不同的血统中是否保留或消失。我们将该特征灌输到 Qwen2.5-7B-Instruct 的三个副本中，并从每个副本迭代训练步骤至深度 10，在相同的保留提示上以两种方式读取每一代：一个关键字屏幕，用于在模型输出中查找特征的表达；一个激活探针，将每个模型从基础到从其他谱系教师构建的方向的位移投影。我们报告了两个发现。首先，这种特征在三个谱系中持续了十代。灌输的模型在每次完成时都表达了这一点；第一步后，关键词筛选率降至 55.6%，到第十代则降至 21.1%。底座本身在 300 次完成中没有一次与屏幕相匹配。其次，这种特质可能存在于内部，但不存在于行为上。当模型的默认系统提示在评估时被删除时，第十代学生的关键字屏幕率在每个提示上都是零，而探测分数在每个提示上都保持正值。用在默认系统提示下训练和测量的第十代学生的位移来引导未经处理的碱基，即使在系统提示被删除的情况下也会诱导特征的筛选表达，而同一学生在系统提示被删除的情况下没有表现出特征的表达。