DataRx：缺失感知采样更安全 大语言模型 特定任务 微调

特定于任务的微调可以提高大语言模型（LLM）在下游任务上的性能。然而，我们的研究表明，特定任务的 微调 也会削弱对齐的 LLM 的安全护栏。 微调 期间广泛采用的保护安全的策略是合并安全数据。尽管之前的研究表明，随机混合安全数据可以缓解安全性下降，但决定为什么某些安全示例比其他示例更有效的基本原理仍不清楚。在本文中，我们提出了 DataRx，一种用于选择安全关键示例的缺失感知采样方法。 DataRx 基于这样的假设：当所选示例提供的安全信号填补了 LLM 安全功能的缺失部分时，安全示例会更有效。 DataRx 的关键见解是利用高维隐藏表示而不是离散标记来量化目标模型的本机响应和安全参考响应之间的安全信号差距。结果表明，仅使用 BeaverTails 额外 1% 的安全样本，DataRx 就将 Llama3-8B-Instruct 在七个下游任务中的平均攻击成功率从随机采样下的 59.23% 降低到了 13.70%。此外，DataRx可以与现有的安全数据合成方法相结合，进一步增强微调期间的安全防御。我们希望 DataRx 能够激发更多以数据为中心的国防研究。