MATH-PT：欧洲和巴西葡萄牙语的数学推理基准

使用 大语言模型 (LLM) 进行复杂的数学推理是一个新兴的研究领域，在方法、模型和基准数据集方面进展很快。然而，大多数数学推理评估都表现出明显的语言偏差，绝大多数基准数据集都是英文的，或者（最多）是从英文翻译而来的。我们通过引入 {\sc Math-PT} 来解决这一限制，这是一个新颖的数据集，包含用欧洲和巴西葡萄牙语编写的 1,729 个数学问题。 {\sc Math-PT} 来自各种高质量的本地资源，包括来自葡萄牙和巴西的数学奥林匹克、竞赛和考试。我们在 {\sc Math-PT} 上提出了当前最先进的 LLM 的综合基准，揭示了与开放权重模型相比，前沿推理模型在多项选择问题中取得了强劲的性能，但对于数字问题或开放式问题，其性能下降。为了促进未来的研究，我们发布了基准数据集和模型输出。