单个神经元足以绕过 大语言模型 中的安全对齐

语言模型中的安全对齐通过两个机械上不同的系统进行操作：拒绝神经元（控制有害知识是否被表达）和概念神经元（编码有害知识本身）。通过针对每个系统中的单个神经元，我们在跨越两个系列和 1.7B 到 70B 参数的七个模型中展示了两个方向的失败——通过抑制绕过对明确有害请求的安全性，并通过放大从无辜提示中诱导有害内容，而无需任何训练或提示工程。我们的研究结果表明，安全对齐并不是在模型权重上稳健分布，而是由单个神经元介导，每个神经元都足以控制拒绝行为——抑制任何一个已识别的拒绝神经元都会绕过不同有害请求的安全对齐。