具有有限样本保证的特定分布曲率控制，可保证空载安全

短暂的 微调 运行可以解除开放重量模型的安全防护——重新训练经过拒绝训练的助手来帮助武器开发或产生仇恨言论。在保持良性适应性的同时防止这种有害的 微调 仍然很困难：唯一具有明确曲率证书的现有方法，光谱变形，全局曲率膨胀，从而阻碍良性适应和有害适应。我们提出了 HarmAlign，它沿着估计的对比激活子空间应用保留功能的谱变形。我们推导了估计子空间能量的有限样本界限以及由此产生的局部有害分布曲率下界。恒定步长梯度下降的稳定性-进度二分法将认证曲率转化为条件收敛率控制。根据经验，在固定架构、有限预算一阶威胁模型中，HarmAlign 可阻止直接 微调 以及跨危险知识再学习设置和有害辅助 微调 设置的三种数据或目标自适应攻击，而受保护的良性任务仍然可训练。该块在每个攻击检查点上的测试一阶优化器变体中以及在分布外有害的 微调 下持续存在，并且它扩展到我们的威胁模型中的重要情况：意外安全降级和紧急错位。