CLSGen：联合概率分类与自然语言解释的双头微调框架

大语言模型（LLM）近年的进展推动了其在复杂问题中的应用。模型能够处理长上下文并生成自然语言解释，具有解决实际问题的潜力，但实际决策中的重要障碍是无法提供可靠的定量概率。采用传统判别式目标、类似纯编码器模型的方式，对大模型做任务专项微调，虽可得到概率估计，却经常导致灾难性遗忘和语言生成能力退化。模型因此失去解释生成能力，影响可解释性和可用性。为此，本文提出面向二分类任务的微调框架CLSGen。该框架结合新的模型架构、训练方法和数据构造策略，在保留模型原有解释生成能力的同时，提高概率估计的可靠性。多个基准数据集的实验表明，经CLSGen微调的模型在AUROC和F1等分类指标上优于已有基线。解释评估也表明，预测标签与生成理由高度一致，且解释具有较好的可读性。