以越狱实现保护：通过临时越狱进行缓冲与强化，实现大语言模型的安全微调

微调即服务（Fine-tuning-as-a-Service，FaaS）支持大语言模型（LLM）的个性化定制，但在有害微调攻击下会削弱安全对齐。近期研究表明，在微调期间激活有害行为模块可以防止模型习得不期望的行为，但其机制仍不清楚。本文重新审视将临时越狱作为有害微调防御手段的做法，并给出梯度层面的分析，表明它能在保留良性任务相关梯度的同时使降低安全性的梯度饱和。基于这一洞见，我们提出缓冲-强化（Buffer-and-Reinforce）微调框架，在用户微调期间缓冲有害更新，并在适配完成后强化安全性。具体而言，BufferLoRA诱导临时越狱作为一个可移除的适配器，以减少用户微调期间的有害更新。适配完成后，经过训练以在临时越狱状态下恢复拒绝行为的ReinforceLoRA，通过基于QR分解的合并与UserLoRA集成，在保持用户任务性能的同时强化安全性。大量实验表明，我们的框架在用户微调期间无需额外安全数据、计算成本极小的情况下，取得了更优的安全性与实用性。