软专家：$α$-Rényi Ensembles for Uncertainty-Aware LLM 后训练

大语言模型 的现有训练方法基于大量数据来学习一组参数，这些数据通常是异构的、相互冲突的并且常常是完全矛盾的。因此，该模型被迫将相互冲突的目标和固有的不确定性压缩为单一的平均行为模式。我们提出了一个 $α$-Rényi 变分框架，用于学习 后训练 参数的分布，为深度集成方法提供了一种不确定性感知的替代方案。由此产生的变分目标在经典变分贝叶斯和预测导向的后验学习之间进行插值，在全局合理的个体模型与互补专家系统之间取得平衡。我们确定了局部稳定性标准，展示了模型错误指定如何使非简并后向传播局部有利，将矛盾或冲突的数据表现为认知不确定性。我们将我们的框架应用于 LLM 后训练，学习附加到共享、冻结基础模型的 LoRA 适配器集合，为监督 微调 和偏好优化提供可扩展的训练过程。我们的方法使训练示例能够在集成成员之间软路由，促进模型专业化并提供跨不同任务的可操作的不确定性估计。