CARTE：法国各地语言模型知识映射的基准

我们引入了 CARTE 1（文化锚定区域领土评估），这是一个多项选择基准，用于评估 大语言模型 (LLM) 对法国境内基于地理和区域差异的知识进行细粒度推理的能力。虽然之前的基准侧重于国家层面的文化理解，但它们在很大程度上忽视了国家内部的差异以及区分密切相关的区域背景的需要。 CARTE 通过引入跨越法国 13 个大都市区并涵盖 14 个主题领域（包括文化、语言、人口、经济、环境和流动性）的 2,431 个问题来弥补这一差距。我们进一步引入了 CARTE-LV，这是一个针对法国地区语言变异的子集，能够集中评估与语言相关的差异。我们在少样本设置下评估了从 1B 到 12B 参数的 27 个 LLM。我们的实验揭示了不同地区和模型规模之间的性能差异，表明预训练覆盖范围存在系统性差距，并且对国内差异的鲁棒性有限。