论文

LoRA 用于性别包容的重写和反叙事生成的激活指导

LoRA for Gender-Inclusive Rewriting and Activation Steering for Counter-Narrative Generation

模型推理解码与生成控制

摘要

性别包容性语言的生成旨在将有偏见的文本转变为包容性的替代方案,同时保留语义意义和语境连贯性。本文介绍了 LT-EDI 2026 共享任务的 IHLC 系统,解决性别包容性重写和反叙事生成问题。对于包含性别的重写,我们采用参数高效的低秩适应(LoRA)微调,获得了 80.00% 的官方分数。我们的主要贡献是一种用于生成反叙事的计算高效的推理时间表示工程方法。我们使用主成分分析 (PCA) 从对比隐藏状态激活中得出主要转向方向,并在推理过程中将其注入到 Gemma-3-4B-it 的中间表示中,从而在不修改模型权重的情况下实现包容性响应的行为转向。与限制性提示相结合,这种方法产生了礼貌且适合上下文的反叙事,官方得分为 78.12%。我们进一步提出了转向行为的手动分析,识别关键故障模式,包括语义漂移、残余偏差泄漏、层敏感性、过度转向和文本退化。我们的研究结果强调了激活引导作为参数更新的轻量级替代方案的实际潜力和当前局限性,以实现可控和社会一致的语言生成。