基于LoRA的贝叶斯推理中低损耗谷的构建及启示

虽然参数高效的 微调 方法（例如低秩适应（LoRA））是 大语言模型 的标准，但认知不确定性的原则估计仍然具有挑战性。 LoRA 体系的最新结果表明，深度集成等离散多模方法比单模方法几乎没有什么好处。这与深度学习中更广泛的观察相矛盾，在深度学习中，集成独立最优通常可以提高泛化能力，而通过连续的低损耗谷连接这些模式可以进一步增强贝叶斯模型平均（BMA）。这种结构是否存在于 LoRA 空间中，以及它是否产生局部或离散方法所错过的功能多样性，尚未得到研究。我们引入 LoRA-Curve，这是 LoRA 空间中的分段贝塞尔曲线参数化，具有两种变体：联合优化所有控制点的自由配置，以及连接独立微调 LoRA 最优值的锚定配置。我们证明了沿曲线损失的路径连续性和 Lipschitz 规律性，并根据 Qwen2.5 7B 的推理和分类基准实证表明，线性插值遇到损失障碍，而我们的锚定多段曲线通过连续的低损失谷连接独立的最优值。结合平坦最小值扰动和 Jensen-Shannon 散度正则化器，LoRA-Curve 在不牺牲性能的情况下产生可测量的更高的预测分布互信息，并将连续参数空间遍历与功能多样性联系起来。