论文

多语言模型中的目标语言生成:激活引导和最优控制

Target-Language Generation in Multilingual Models: Activation Steering and Optimal Control

模型推理解码与生成控制

摘要

确保多语言模型以特定目标语言生成连贯的文本是多语言模型中的一个主要问题。我们开发了一种目标语言文本生成的最优控制方法,以及一个评估生成文本的语言依从性、语言连贯性和语义连贯性质量的框架。我们发现,对于大多数测试模型来说,所提出的方法至少表现得与显着的均值差异激活控制方法一样好,并且所需的超参数调整要少得多。