不要失去焦点：通过关键正交投影进行激活转向

激活引导通过干预内部表征来控制 LLM 行为朝向目标行为，但它通常会降低推理和检索性能。我们认为，这种权衡的主要原因是注意力重新路由：引导向量改变查询键匹配，将注意力从上下文重要的标记转移到信息量较少的标记。为了解决这个问题，我们提出了通过关键正交投影（SKOP）进行转向，这是一种在不消除转向功效的情况下限制有害注意力重新路由的转向方法。 SKOP 通过保留模型推理和检索所依赖的一小组焦点标记上的注意力模式来实现这一点，同时允许在不太关键的尾部标记之间重新分配。在多个转向基准中，我们表明 SKOP 实现了最佳的联合转向与效用权衡，将效用下降减少了 5-7 倍，同时保留了超过 95% 的普通转向功效。我们的结果进一步表明，在普通引导方法无效的长上下文检索环境中，SKOP 可以通过避免注意力重新路由来保持稳健的性能。