紧急的错位可能是由阿谀奉承引起的，并可以通过对齐门控来逆转

先前的工作表明，微调 大语言模型 在狭窄域中的恶意或不正确输出可能会引发广泛的错位和有害行为，这种现象称为紧急错位。然而，扭转这种失准的有效方法仍然有限。在这项工作中，我们做出了两项贡献。首先，我们将阿谀奉承 微调（即被动同意用户不正确意见的训练模型）确定为先前未充分研究的紧急失调的驱动因素，并表明它会引发广泛而严重的失调行为。其次，我们提出了对齐门控，这是一种逆转紧急未对齐的有效方法，可在 微调 期间将可学习和可控的门插入到模型中。通过 微调，这些门学习识别导致不安全响应的内部表示。因此，放大或抑制这些表征会分别加剧或减轻 EM。我们进一步发现对齐门控模块表现出很强的泛化性：从窄域 微调 获得的门控权重显着抑制了宽域未对齐行为，同时保留了模型的一般功能。