一致但校准错误：评估自然语言风险沟通的 LLM 限制

LLM 越来越多地被部署为人工智能生成输出的事后解释器，但仍不清楚它们是否能够可靠地用自然语言传达概率信息。为了使这个角色可行，模型必须对相同的输入产生相同的口头描述，并选择准确反映基础数值量大小的描述。我们评估九个 LLM 是否在两阶段预测管道中满足这些要求，其中上游模型产生了以其可能性和不确定性为特征的概率输出，而 LLM 的任务是为每个预测管道选择适当的语言描述符。我们通过从由众数和先验样本大小参数化的 Beta 分布中获取样本来模拟上游模型的预测。然后，我们提示 LLM 在六个域上下文和十个温度设置下解释这些预测，并重复每个实验十次。我们发现 LLM 总体上是一致的，但校准错误，在不确定性任务上的性能比在似然性任务上的性能要弱得多。为模型提供预先计算的汇总统计数据（模式和先前的样本量）降低了对上下文框架的敏感性，但没有解决潜在的错误校准，这表明瓶颈在于言语化步骤本身。这些发现表明，当前的 LLM 尚未构成用于概率预测的可靠的零样本独立风险沟通工具。