大语言模型黑盒不确定性估计方法的系统评估

虽然大语言模型（LLM）在广泛任务上展现强能力——但其输出常不可靠、可能含幻觉——使不确定性估计（UE）对构建可信LLM至关重要。实践中——许多主流LLM只能经受限API访问——logits与隐藏态等内部信号不可得——使黑盒UE尤为重要。但LLM黑盒UE的既有工作在方法学上碎片化——缺乏统一实证比较。为填补该缺口——我们对黑盒UE方法做系统综述——组织为五类：言语化、采样、解释、多智能体与混合方法。我们进一步构建统一评估框架——在4个模型与4个数据集设定下基准测试24个代表性方法。结果表明没有单一方法在所有设定中持续占优。尽管如此——在答案空间中推理并比较候选的方法普遍有效——组合多不确定性信号的混合方法在多数条件下表现良好。通过发布基准数据与统一评估框架——我们旨在促成可复现比较、支持未来研究——同时我们的实证发现为开发未来LLM黑盒UE方法提供实用指导。