分区、提示、聚合：语言模型中的统计自洽性

上下文学习通常被解释为条件推理的一种形式，其中提示指定上下文，并且模型的输出被视为相应条件分布的估计。如果这种解释成立，则 LLM 估计应该满足基本概率恒等式。特别是，总概率定律断言先验加权条件分布在任何有效的总体划分上都会聚合到总体水平边际中。在这项工作中，我们研究了 LLM 估计在多大程度上遵守了这种自洽原则。我们使用二叉树作为评估支架，将群体递归地划分为越来越细粒度的子群体。然后，我们在上下文中提示 LLM 用语言描述的子总体描述，将所得估计值汇总回总体水平估计值，并在不同粒度的分区之间进行比较。跨问题域和最先进的前沿模型应用该协议，我们发现了对基本一致性属性的广泛违反。对角色提示的深入研究揭示了一种我们称之为宏观谬误的模式：从更细粒度的亚群体反应中重建的估计通常比直接的群体水平估计更符合人类参考数据。这种效应在树结构和估计任务的变化中持续存在，并且可以通过隐式提示部分恢复。总之，这些发现表明模型拥有相关的亚群知识，但不能可靠地将其传播到总体估计中。这一差距确立了统计的自我一致性，作为评估 LLM 的不饱和、无参考标准。