超越猫头鹰：潜意识学习可以转移学到的能力和后门

在潜意识学习（SL）中，教师模型通过对与特征语义无关的数据进行蒸馏，将特征传递给学生模型。到目前为止，SL 仅被证明适用于有限的特征，包括对动物（例如猫头鹰）和恶意角色的偏好。这些特征也可以通过简单的提示或引导来引发。 SL 能否转移更广泛的特征，包括更复杂的特征？如果是这样，蒸馏可能会在不被发现的情况下转移微妙形式的失调（例如，寻求奖励、阴谋和秘密忠诚）。为此，我们测试 SL 是否可以传递一种新颖的能力：预测随机初始化的 MLP 的输出。在提炼出不相关的文本后，学生在任务上取得了显着的成绩，但低于老师。我们发现直接优化的导向向量在分布中与 SL 匹配，但在分布之外概括得更差。接下来我们测试一下SL是否可以传输后门。当提示包含女性名字时，我们对老师进行微调，使其用法语回答，然后根据数字序列进行提炼 既不包含名字也不包含法语。学生部分获得了后门，在 23.5% 的提示中用法语回答女性名字，而使用男性名字的比例为 0.0%。最后，我们测试 SL 是否可以在 agentic 国际象棋环境中转移黑客倾向。我们根据黑客老师指导的数字序列对学生进行微调。学生在 58.3% 的剧集中进行了黑客攻击，而未微调模型的这一比例为 10.9%。因此，我们证明 SL 可以转移能力、后门和黑客倾向。传输量对设置很敏感。在几个实验中，通过使用 Logit 蒸馏或将 LoRA 限制在注意力层上，它变得更强。