检查印度评估：在印度语言和文化背景下评估 大语言模型 的开放基准框架

印度是一个拥有超过 14 亿人口的大国，拥有数百种不同且当地特定的传统和文化以及 22 种官方认可的语言。 大语言模型（LLM）现已在整个大陆以及偏远村庄大规模部署。然而，常见的基准 - MMLU、BIG-Bench 和 TruthfulQA 几乎完全以英语和西方为中心。他们没有识别出印度特有的安全性、公平性和准确性方面的缺陷。这就是印度检查评估项目试图填补的空白。它是一个构建在英国 AISI 的 Inspect AI 平台之上的开源框架。它有六个基准：跨 16 种印度语言的多语言 MMLU、BharatBBQ（我们针对印度社会偏见而改编的烧烤）、数字公共基础设施的安全评估、使用印度语言有害提示的多语言安全测试、多轮越狱测试以及使用 LLM 作为评判规则进行评分的印度文化知识基准。在本研究中，我们测试了 5 个开放权重模型，参数范围从 8B 到 32B。 Sarvam-M 24B 和 Gemma 2 27B 名列前茅，在综合印度公平指数中得分均为 80%，而 Sarvam-M 在印度文化知识和 DPI 安全合规性方面甚至击败了较大的 32B 型号。所有模型在多语言安全性方面得分为 100% 拒绝，而 DPI 安全性从 20% 到 100% 不等。该框架是公开的。它专为与英国 AISI 注册机构配合使用而构建。任何人都可以复制或扩展这项工作。