沙丘社区
论文

Steer2Adapt：动态组合转向向量可高效适配LLM

Steer2Adapt: Dynamically Composing Steering Vectors Elicits Efficient Adaptation of LLMs

Pengrui Han, Xueqiang Xu, Keyang Xuan, Peiyang Song, Siru Ouyang, Runchu Tian, Yuqing Jiang, Cheng Qian, Pengcheng Jiang, Jiashuo Sun, Junxia Cui, Ming Zhong, Ge Liu, Jiawei Han, Jiaxuan You
模型推理解码与生成控制

摘要

激活转向已成为将大语言模型（LLM）高效适配到下游行为的一种有前景的方法。然而，大多数现有转向方法依赖于每个任务或概念的单个静态方向，使其在任务变化下缺乏灵活性，也不足以胜任需要多种协调能力的复杂任务。为解决这一局限，我们提出STEER2ADAPT，一个通过组合转向向量而非从零学习新向量来适配LLM的轻量级框架。在许多领域（如推理或安全）中，任务共享一小组底层概念维度。STEER2ADAPT将这些维度捕获为一个可复用的低维语义先验子空间，并通过仅从少量样本中动态发现基向量的线性组合来适配新任务。在推理与安全两个领域共9个任务、3个模型上的实验证明了STEER2ADAPT的有效性，平均提升8.2%。大量分析进一步表明，STEER2ADAPT是一种数据高效、稳定且透明的LLM推理时适配方法。

Steer2Adapt：动态组合转向向量可高效适配LLM
图1：Task-Vector Steering、Semantic-Driven Vector Steering 与 Steer2Adapt 的比较。(a) Task-Vector Steering 通过大规模数据训练导出任务向量；该方法虽然有效，但计算开销大且缺乏语义可解释性。(b) Concept-Vector Steering 利用预定义的语义概念向量，这类向量往往缺乏复杂下游任务所需的表达能力。(c) Steer2Adapt（我们的方法）采用贝叶斯优化（Bayesian Optimization），仅用极少量样本即可找到概念向量的最优线性组合，在保持数据高效与语义透明的同时取得高性能。