论文

没有人适合所有情况:从固定提示到多语言学习路由 LLM

No One Fits All: From Fixed Prompting to Learned Routing in Multilingual LLMs

模型评测模型能力评测

摘要

基于翻译的提示广泛应用于多语言 LLM,但其有效性因语言和任务而异。我们评估了不同资源水平的十种语言和四个基准的提示策略。我们的分析表明,没有任何单一策略是普遍最优的。即使翻译质量不完美,高资源语言获益甚少,并且基于提示的自路由性能低于显式翻译,翻译也会对低资源语言产生巨大的好处。受这些发现的启发,我们将提示策略选择制定为学习决策问题,并引入轻量级分类器来预测本地或基于翻译的提示对于每个实例是否是最佳的。分类器在四个基准上比固定策略取得了统计上的显着改进,并推广到训练期间未观察到的看不见的任务格式。进一步的分析表明,决定翻译何时有益的是语言资源水平,而不仅仅是翻译质量。