通过多源动态 logits Fusion 实现高效的低资源语言适配

将 大语言模型 (LLM) 适应低资源语言 (LRL) 受到任务数据和计算资源稀缺的限制。尽管代理调优提供了 logits 级别的策略来引入缩放效果，但它在 LRL 设置中经常失败，因为大型模型较弱的 LRL 能力可能会压倒专门的较小模型的知识。因此，我们提出了 TriMix，一个测试时的 logits 融合框架，它动态平衡来自三个不同来源的能力：来自持续预训练的小模型的 LRL 能力、来自高资源语言指令调整的任务能力以及大型模型的扩展优势。它具有数据和计算效率，不需要 LRL 任务注释，只需在小型模型上进行持续预训练。四个模型系列和八个 LRL 的实验表明，TriMix 的性能始终优于单模型基线和代理调优。我们的分析表明，优先考虑小型 LRL 专用模型的 logits 对于成功至关重要，这挑战了普遍的大型模型主导假设。