论文
ProbPlug：用于 LLM 二进制分类的可靠置信度的插件不确定性网络
ProbPlug: A Plugin Uncertainty Network for Reliable Confidence in LLM Binary Classification
摘要
大语言模型 (LLM) 在广泛的分类设置中取得了强大的性能，但其预测的可靠性仍然是在高风险场景中部署的主要障碍。尽管 LLM 的置信度估计已得到广泛研究，但基于 LLM 的分类的置信度校准仍有待探索。我们引入了 ProbPlug，这是一种用于基于 LLM 的二元分类的轻量级置信度估计框架，它使用从冻结的 LLM 中提取的内部词元特征来预测输出是否正确。 ProbPlug 采用自注意力模块来聚合隐藏表示，并且可以集成到原始推理管道中，而无需修改基础模型。涉及基于文本和多模态大型模型的多个任务的实验表明，ProbPlug 提供了更可靠的置信度估计，以可忽略的额外开销提高了分类性能，并表现出跨任务的强大泛化能力。这些结果表明 ProbPlug 是基于 LLM 的分类中置信度估计的实用解决方案。我们的代码可在 Github 上公开获取。