论文

重标定置信度:标度设计所揭示的LLM元认知

Rescaling Confidence: What Scale Design Reveals About LLM Metacognition

模型评测鲁棒性、公平性与可信度评测

摘要

言语化置信度(verbalized confidence)指LLM报告一个数值化的确定性分数,它被广泛用于黑盒设置下的不确定性估计,但置信度标度本身(通常为0–100)却很少被审视。我们表明,这一设计选择并非中性。跨六个LLM和三个数据集,言语化置信度被严重离散化,超过78%的回复集中在仅三个凑整数值上。为探究这一现象,我们沿粒度(granularity)、边界位置(boundary placement)与范围规则性(range regularity)三个维度系统地操纵置信度标度,并使用$meta\text{-}d'$评估元认知敏感性。我们发现,0–20标度相比标准0–100格式一致地改善了元认知效率,而边界压缩会降低性能,且即使在不规则范围下,凑整数值偏好依然存在。这些结果表明,置信度标度设计直接影响言语化不确定性的质量,应被视为LLM评估中的一等实验变量。