论文

LiST:局部单工测试时 LoRA 融合

LiST: Local-Simplex Test-Time LoRA Fusion

模型优化模型合并

摘要

特定于任务的 LoRA 适配器提供了一种模块化方式来专门化大型语言和视觉语言模型。然而,现有的适配器组合方法大多是静态的,无法适应单独的测试输入。为了解决这些问题,我们提出了 \textbf{LiST},这是一种无标签测试时 LoRA 融合框架,它将现有的 LoRA 库转换为目标条件局部单纯形,并在推理时搜索特定于样本的融合权重。 LiST 从 LoRA 参数锚点和提示级行为向量构建联合任务表示,检索相邻适配器作为本地搜索空间,并在不更新主干或适配器的情况下执行分支保留融合。候选权重是通过具有先验、几何和随机一致性约束的提示级能量来选择的,并且仅当它们通过安全接受规则时才进行部署。否则,LiST 会回退到目标条件先验。多模态和语言基准测试表明,LiST 的性能优于静态 LoRA 合并和传统的测试时间自适应基线,同时保留特定于任务的适配器实用性并提高对未见过的任务的鲁棒性。