GSM-SEM：生成语义变异增强的基准和框架

GSM8K 等基准测试是流行的数学推理衡量标准，但由于记住了固定测试集​​，排行榜的收益可能会夸大真实能力。大多数鲁棒性变体都应用表面扰动（释义、重命名、数字交换、干扰项），这些扰动在很大程度上保留了潜在的事实，并且随着时间的推移，静态释放本身可以成为记忆目标。我们引入了 GSM-SEM，这是一个可重用的随机框架，用于生成语义多样化的基准变体，其语义方差比以前的方法要高得多。 GSM-SEM 通过修改实体、属性和/或关系、频繁改变底层事实并要求模型在新条件下重新计算解决方案来扰乱问题陈述，同时限制生成以保留原始计算/答案和近似问题难度。 GSM-SEM 在每次运行时都会生成新的变体，无需重新注释，从而减少了对静态公共评估基准的依赖，从而降低了记忆偏差。我们在 GSM8K 和两个现有的变体套件（GSM-Symbolic 和 GSM-Plus）上应用 GSM-SEM，生产 GSM8K-SEM、GSM-Symbolic-SEM 和 GSM-Plus-SEM。通过评估 14 个 SOTA LLM，我们观察到当语义扰动与符号/加变化相结合时，性能会持续下降，下降幅度更大（GSM-SEM 最大严格配置下的平均下降率为 28%）。我们公开发布了三个 SEM 变体作为完全经过人类验证的数据集。最后，为了证明 GSM 式数学问题之外的适用性，我们将 GSM-SEM 应用到其他基准测试中，包括 BigBenchHard、LogicBench 和 NLR-BIRD。