论文

RISER:编排潜在推理技能以实现自适应激活转向

RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering

模型训练强化学习

摘要

近期用大语言模型(LLM)做领域特定推理的工作常依赖需要参数更新的重训练方法。虽然激活转向已成为参数高效的替代,但现有方法施加静态、手动的干预,无法适应复杂推理的动态特性。针对这一局限,我们提出RISER(Router-based Intervention for Steerable Enhancement of Reasoning),一个即插即用的干预框架,在激活空间中自适应转向LLM推理。RISER构建一个可复用推理向量库,并使用轻量Router为每个输入动态组合它们。Router通过任务级奖励下的强化学习优化,以涌现且可组合的方式激活潜在认知原语。在七个多样基准上,RISER较基座模型平均提升3.4-6.5%的零样本准确率,同时以2-3倍的token效率超越CoT式推理并保持稳健的准确率增益。进一步分析表明,RISER能自主把多个向量组合成可解释、精确的控制策略,指向更可控、更高效的LLM推理。

RISER:编排潜在推理技能以实现自适应激活转向
图2:RISER 框架总览,展示离线抽取推理向量与离线训练 Router 的过程,随后的在线推理中,预训练的 Router 动态选择并组合向量以干预 LLM 的激活,引导最终输出。