论文

PERSONA:通过激活向量代数实现动态可组合的推理时人格控制

PERSONA: Dynamic and Compositional Inference-Time Personality Control via Activation Vector Algebra

模型推理解码与生成控制

摘要

当前大语言模型的人格控制方法依赖静态提示或昂贵的微调,无法捕捉人类特质的动态与可组合特性。我们提出 PERSONA,一个免训练框架,通过直接操纵激活空间中的人格向量达到微调级性能。我们的关键洞见是:人格特质以可提取、近似正交的方向出现在模型表征空间中,并支持代数运算。框架分三阶段运作:Persona-Base 通过对比激活分析提取正交特质向量;Persona-Algebra 通过向量算术实现精确控制(标量乘法调强度、加法组合、减法抑制);Persona-Flow 在推理时动态组合这些向量,实现情境感知的自适应。在 PersonalityBench 上,该方法取得 9.60 的平均分,在没有任何梯度更新的情况下几乎媲美 9.61 的监督微调上限。在我们提出的面向动态人格适应的 Persona-Evolve 基准上,跨不同模型家族取得最高 91% 的胜率。这些结果为 LLM 人格的某些方面在数学上可处理提供了证据,为可解释、高效的行为控制开辟新方向。

PERSONA:通过激活向量代数实现动态可组合的推理时人格控制
图2:人格向量之间的余弦相似度。