通过 Stiefel 约束旋转转向控制 LLM 的拒绝行为

激活引导已成为一种在推理时控制模型拒绝的轻量级方法。越来越多的研究探索可训练的激活旋转，以开发几何原理的干预机制。然而，现有技术依赖于辅助构造（例如拒绝向量）来定义这些旋转。在我们的工作中，我们开发了一种独立的方法来学习基于黎曼优化的参数有效旋转变换。我们通过实证验证了所提出的方案，证明了其在干预效率方面的优越性。广泛的消融研究强调了我们方法中关键设计选择的重要性。我们的结果表明，所提出的基于旋转的转向方案是对 LLM 行为进行更可靠控制的有希望的方向。