语言模型中激活控制的高维随机投影

激活控制已成为控制 大语言模型 (LLM) 行为的关键方法。然而，现有的基于均值差异的方法从根本上是有限的：它们仅捕获类激活之间的均值差异，并且无法恢复叠加假设下非线性特征子空间中自然存在的判别信号。受此启发，我们提出了激活引导的高维随机投影（HiDRA），这是一种与现有激活引导方法无缝集成的 无需训练 方法。通过在投影高维空间中执行激活加法，HiDRA 可以证明捕获线性方法无法达到的更好的判别结构。跨不同 LLM 系列和基准的实验表明，HiDRA 的性能始终优于基线同类产品，无需大量计算开销即可实现更强的行为控制。