ADAGE：用于类比推理评估的与语言无关的管道

多语言推理评估绝大多数依赖于翻译英语基准，这种做法引入了语言假象，并且无法测试基于文化的推理。我们引入了 ADAGE（基于设计的模拟难度评估），这是一种与语言无关的管道，它将母语者管理与 LLM 辅助生成相结合，为抽象类比推理构建具有挑战性的、免翻译的基准。我们通过构建阿拉伯语、阿姆哈拉语和日语基准来验证 ADAGE。通过评估 14 个开放权重模型，我们发现了一致的文化推理差距：在英语谚语推理中表现良好的模型在所有三个本地基准上都表现不佳，准确度相对于英语下降了 12--52 个百分点。我们发布了管道、所有三个基准测试以及完整的评估套件。