BavGround：巴伐利亚地区文化基础和方言能力的基准

大语言模型 (LLM) 的文化评估往往侧重于高资源标准语言，而区域文化和方言社区的代表性不足。我们推出 BavGround，这是评估巴伐利亚地区文化基础和英语、德语和巴伐利亚语方言能力的基准。 BavGround 包含每种语言 8 个文化领域的 206 个多项选择源问题，产生 618 个多重并行实例，项目涵盖广泛可获取的文化知识和来自新闻、历史资料和专业文献的基于源的区域知识。我们评估了 15 个 7B-10B 开放权重指令调整模型和一个封闭模型参考。强大的多语言模型总体表现最佳，但在巴伐利亚项目和基于源的问题上表现下降，表明方言和本地化文化知识方面持续存在困难。我们进一步表明，结论在很大程度上取决于评估协议：原始答案字母评分、打乱字母评分、选项文本可能性、生成答案解析和语义匹配可以产生不同的绝对分数和排名，特别是对于区域适应模型。最后，对 GENBA-10B 检查点的探索性分析表明，持续的预训练提高了跨领域答案内容的可能性，但方言能力仍然相对较弱。 BavGround 支持 LLM 中的本地化、协议感知的文化表征评估。