内核化激活指导

激活引导提供了一种简单的、免训练的机制，用于控制生成模型的属性，例如情感、风格和帮助性。然而，诸如均值差之类的标准方法在所有激活中应用单个输入独立的引导向量，限制了表达性并忽略了激活空间的局部几何形状。我们提出了内核化激活引导（KAS），这是一个统一框架，可将激活引导提升到再现内核希尔伯特空间。 KAS 将转向表述为纯粹通过内核评估表达的优化问题，产生隐式的、依赖于激活的转向分数，而无需构建显式的特征图。与 DiM 不同，KAS 引入局部自适应转向：每个激活根据其相对于源和目标参考集的相对位置进行修改，在表示空间上产生非线性转向场。重要的是，DiM 作为线性内核下的特殊情况进行恢复，而更丰富的内核可以实现几何感知干预。在标准激活指导任务中，包括越狱 LLM 和图像风格控制，KAS 优于或与现有方法相当。