论文

语言感知词元提升:LLM 无需调整即可减少语言混乱

Language-Aware Token Boosting: LLM Language Confusion Reduction Without Tuning

模型推理解码与生成控制

摘要

大语言模型 (LLM) 在生成非英语文本时有时会出现语言混乱。现有方法通常依赖 微调 来缓解此问题。相反,我们提出了一种免调优范例来减少语言混乱。在此范例中,我们引入了两种方法:语言感知词元提升(LATB),它将有针对性的扰动应用于与所需语言相关的词元;以及自适应语言感知词元提升(Adaptive-LATB),它根据模型对目标语言的置信度动态调整这些扰动。实验表明,我们的方法通过减少语言混乱有效地提高了多语言对齐,同时保持摘要质量,而不需要任何额外的 微调。我们的代码是公开的。 https://github.com/scbdatax/genai-datax-language-aware-token-boosting。