在统计上保持认真的重要性：对GSM-Symbolic的批判性重评估

摘要

GSM-Symbolic 基准（Mirzadeh 等人，2025）报告称，在对模板生成的 GSM8K 问题变体进行测试时，25 个大语言模型 (LLM) 的性能出现了一致下降，得出的结论是这些模型缺乏真正的推理能力。我们认为这一结论的统计基础并不可靠。使用具有每个问题随机效应的广义线性混合模型重新评估 20 个开放权重模型，我们发现只有一半模型在原始提示格式下表现出统计上显着的性能变化。此外，我们还发现了一个之前未被承认的因素：主 GSM-Symbolic 数据集包含问题文本中较大整数相对于 GSM-Base 的系统转移分布（K-S 统计 = 0.12，p < 0.001），这与原作者的主张相矛盾。控制这种大量效应在大约一半的剩余案例中具有重要意义。在具有统计显着性性能增量的模型中，我们确定了不同的、特定于模型的故障概况 - 包括变量绑定的脆弱性、算术限制和双任务干扰 - 强调了有关 LLM 推理的笼统主张在统计上是不成熟的，并且在机械上具有误导性。

在统计上保持认真的重要性：对GSM-Symbolic的批判性重评估 — 图 1：GSM-Symbolic 基准测试的再现。顶部：使用 GLMM 获得的优势比和置信区间；垂直虚线标记零效应（即 OR = 1）。左下：变体性能增量 ( Δ v a r \Delta_{var} )，以百分点 (pp) 为单位。右下：P 值（Holm-Bonferroni 校正之前）；垂直虚线标记标准统计显着性阈值 α = 0.05 \alpha=0.05 。