NRITYAM：语言模型遇见艺术和舞蹈遗产

语言模型已成为塑造现代工作流程的重要工具。然而，它们的全球有效性取决于对当地社会文化背景的细致理解。为了解决这一差距，我们提出了 NRITYAM，这是一个用于评估全球舞蹈传统背景下语言模型的文化理解能力的综合基准。 NRITYAM 包含 9,260 个精心策划的问答对，涵盖 12 种语言，使其成为致力于评估舞蹈文化知识的最大数据集。该数据集是通过与本土舞蹈艺术家和母语人士密切合作从头开始开发的，他们创作并验证了特定于其所在地区的文化相关问题。我们评估了广泛的模型，包括 大语言模型、小语言模型、多模态 大语言模型 和小型多模态语言模型。作为多语言和多文化的基准，NRITYAM 为评估人工智能系统理解和推理传统表演艺术的能力设立了新标准。详细的数据集示例可在 ~\url{https://github.com/niladrighosh03/NRITYAM} 获取。