大语言模型 中的社会意义：结构、量级和语用提示

大语言模型 (LLM) 越来越多地表现出类似人类的实用和社会推理模式。本文解决了两个相关问题：LLM 是否不仅在定性上而且在定量上近似人类社会意义，并且实用主义理论所指导的提示策略可以改善这种近似吗？为了解决第一个问题，我们引入了两个以校准为中心的指标，将结构保真度与幅度校准区分开来：效应大小比（ESR）和校准偏差分数（CDS）。为了解决第二个问题，我们从两个实用假设中得出提示条件：社会意义来自对语言替代方案的推理，听众推断说话者的知识状态和交际动机。应用于跨三个前沿 LLM 的数值（im）精度的案例研究，我们发现所有模型都可靠地再现了人类社会推论的定性结构，但在幅度校准方面存在很大差异。提示模型推理说话者的知识和动机最能一致地减少幅度偏差，而提示替代意识往往会放大夸张。结合这两个组件是改善所有模型中所有校准敏感指标的唯一干预措施，尽管细粒度幅度校准仍然只是部分解决。因此，LLM 捕获推理结构，同时不同程度地扭曲推理强度，而实用理论为改进该近似提供了有用但不完整的处理方法。