论文
大语言模型 不确定性估计的贝叶斯稀疏低秩自适应
Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation
摘要
大语言模型 (LLM) 表现出卓越的推理能力，但其特定任务的 微调 因过度自信而臭名昭著，严重阻碍了可信部署。我们提出了数据自适应低秩适应（DALorRA），这是一种简单有效的变分贝叶斯稀疏框架，它将不确定性量化的范式从密集参数空间转移到低秩适应（LoRA）的轻量级级别。鉴于 LoRA 本质上聚合了可能提供多余模型容量的多个秩一组件，DALorRA 对秩维度施加随机屏蔽，从而在训练期间实现模型容量的贝叶斯正则化，并在推理期间实现类似集成的校准。大量实验证明了 DALorRA 对 LLM 的出色校准，且不影响推理准确性。