“很可能”意味着“不确定”？大语言模型在语言不确定性量化方面与人类有何不同

人类通过标记（例如“可能”、“可能”）口头表达不确定性，但大多数大语言模型不确定性量化（UQ）依赖于基于成本可能性或一致性的信号。从认知角度来看，准确的言语不确定性反映了元认知监控，代表知识边界（“知道你不知道”）以支持监管和信息寻求。在本文中，我们研究了大语言模型在言语不确定性量化方面与人类有何不同，以及言语标记是否可以可靠地量化大语言模型不确定性。我们从心理学和决策科学文献中整理了人类不确定性标记的语料库，并以此为基准来衡量大语言模型。我们观察到大语言模型用与人类显着不同的数字水平来编码语言不确定性。然后，我们介绍 METHODNAME，这是一种基于优化的新颖算法，可直接从 LLM 输出中学习不确定性标记的最佳不确定性概况。通过拟合标记-不确定性映射以最好地解释经验正确性，METHODNAME 发现每个语言标记应传达多少概率质量，而不是通过重复采样来估计不确定性。 METHODNAME 能够对人类和大语言模型之间的置信语义进行直接、标记级别的比较，消除不匹配并揭示言语表达中的系统置信差异。