论文
激活指导能否捕捉多维作者风格?
Can Activation Steering Capture Multidimensional Authorship Style?
摘要
激活控制已显示出沿着明确定义的属性控制 LLM 生成的前景,但仍不清楚它是否可以处理作者风格的多维和难以定义的性质。我们询问沿着修辞动机维度的结构化对比提示是否可以直接在激活空间中构建丰富的风格表示,从而绕过对自然语言风格描述符或专门训练的需要。我们发现所得到的方向共享一个共同的作者主干,同时在携带真正风格信号的特定方面残差上发生冲突,这解释了为什么朴素聚合失败。我们在方面感知激活转向(A3S)中对此进行操作,这是一个 无需训练 框架,它将每个方面的对比方向与干扰感知聚合相结合,并调整每个实例的转向强度。 A3S 改进了真正多方面的作者风格迁移,在域外基准的偏好评估中优于经过训练的基线,并保持目标样本重叠始终较低。