激活引导的语篇副作用：以补充向量恢复非目标话语特征

激活引导是一种推理时间技术，用于控制或修改大型语言模型 (LLM) 的行为、语气或安全属性，无需重新训练模型的权重或编辑其输入提示，而只需向其残差流激活添加向量即可。然而，激活引导也会以意想不到的方式改变生成的文本，与预期的行为变化无关，这一点尚不清楚。之前的工作仅通过困惑度等粗略信号来测量这些变化。在这项工作中，我们表明引导系统地产生生成文本的话语维度的显着变化，例如正式程度、证据使用和歧义程度。我们提出了一种解决这个问题的方法，即添加第二个针对受影响的话语维度的互补向量。这种干预逆转约78%的非预期话语变化，同时在约93%的生成结果中保留预期引导行为。