具有输入自适应等级的 Flexi-LoRA：语音和推理任务的高效微调

低秩适应 (LoRA) 等参数高效的 微调 方法已成为部署 大语言模型 的关键，但它们的静态参数分配对于不同复杂性的输入仍然不是最佳的。我们提出了 Flexi-LoRA，这是一种新颖的框架，可以在训练和推理过程中根据输入复杂性动态调整 LoRA 等级。通过对问答、数学推理和语音任务的实证分析，我们证明保持训练和推理动态之间的一致性对于有效适应非常重要，特别是对于顺序推理任务。我们的研究结果表明，通过将排名配置与问题复杂性进行最佳匹配，依赖于输入的参数分配可以用更少的参数实现更高的性能。此外，特定任务对排名动态的依赖性各不相同，数学推理任务比 QA 任务表现出更高的依赖性。成功的适应不仅体现在正确性上，还体现在推理质量和指令依从性上。 Flexi-LoRA 在使用较少参数的同时始终优于静态 LoRA，在需要严格推理链的任务上性能提升更为明显。我们的方法通过更简化的实现实现了专家混合框架的主要优势，减少了参数冗余，同时提高了模型功能。我们提供跨不同任务的全面实证研究，为未来输入自适应和高效 微调 方法的工作奠定基础。