论文

通过域自适应基础模型的贝叶斯潜在传输进行概率几何对齐

Probabilistic Geometric Alignment via Bayesian Latent Transport for Domain-Adaptive Foundation Models

模型训练监督微调与指令调优

摘要

由于潜在的分布不匹配、不稳定的优化动力学和错误校准的不确定性传播,在有限监督的情况下使大规模基础模型适应新领域仍然是一个基本挑战。本文介绍了一种不确定性感知概率潜在传输框架,该框架将域适应表述为表示空间中的随机几何对齐问题。提出了贝叶斯传输算子沿着 Wasserstein 型测地线轨迹重新分布潜在概率质量,而 PAC-贝叶斯正则化机制限制后验模型复杂性以减轻灾难性的过度拟合。所提出的公式为分布偏移下的收敛稳定性、损失景观平滑度和样本效率提供了理论保证。实证分析表明,与确定性 微调 和对抗域适应基线相比,潜在流形差异大幅减少,传输能量衰减加速,协方差校准得到改进。此外,有界后验不确定性演化表明跨域转移期间概率可靠性增强。通过在随机最优传输几何和统计泛化理论之间建立原则上的联系,所提出的框架为在异构环境中运行的现代基础架构的稳健适应提供了新的见解。这些发现表明,不确定性感知概率对齐构成了下一代深度表示系统中可靠迁移学习的有前景的范例。