AutoAdapt：自动发现领域并低成本扩展LoRA适配

指令调整模型被部署到域异构且不断发展的环境中，但添加新域或数据通常需要昂贵的再培训。我们提出了 AutoAdapt，这是一个模块化框架，它通过有针对性的单适配器训练合并新的域和数据，而无需修改其他适配器。该框架自动发现潜在域，使用它们并行地独立训练每个域的低秩适应（LoRA）适配器，并执行无参数路由。在 14 个特定领域的基准测试和 GPT-4o 成对判断中，AutoAdapt 与在所有领域训练的 LoRA 适配器达到了同等水平，而无需完整模型重新训练。我们还发现了跨独立发现方法的专业化效应收敛的证据。总体而言，在自己的域上训练每个适配器可以防止构造造成的域干扰，从而实现模块化、无分类的域专业化，而不会造成总体性能损失或完整的模型重新训练。