论文

从用户画像到导向向量:面向个性化文本生成的全局稀疏先验与局部语义校准

From Profiles to Steering Vectors: Global Sparse Priors and Local Semantic Calibration for Personalized Text Generation

模型推理解码与生成控制

摘要

个性化文本生成要求模型从历史数据中捕捉用户特定的写作风格。基于检索、参数高效微调或激活导向的现有方法,要么引入推理与存储开销,要么难以将风格信号与语义内容分离。我们提出GLASS,一个通过带稀疏先验的全局-局部激活导向(Global-Local Activation Steering with Sparse priors)实现个性化生成的免训练框架。GLASS使用稀疏自编码器(SAE)从历史回复中提取全局用户风格先验,并在聚类的交互场景上构建局部对比风格向量。推理时,它将全局与局部向量共同注入模型的不同层,无需检索或参数更新即可实现上下文感知的个性化。在LaMP和LongLaMP上的实验表明,GLASS在ROUGE指标与LLM作为裁判的评估上均优于基于检索、微调和导向的基线。进一步分析表明,基于SAE的表示对主题与长度变化更稳健,说明风格信息与语义残余实现了更好的解耦。

从用户画像到导向向量:面向个性化文本生成的全局稀疏先验与局部语义校准:论文配图
图 2:GLASS 概述。