土耳其 MMLU Pro：土耳其多项选择评估中的可追踪选项增强及其有效性限制

添加答案选项可能会降低多项选择分数，但不会提高评估的有效性。土耳其语 MMLU Pro 使用 58 个部分的 12,000 个土耳其语源问题来检验这一区别。每个问题都保留其主干、五个原始选项和源密钥，并收到从同一部分中其他问题复制的五个选项。句子嵌入检索提出候选；语言模型选择现有的标识符。确定性验证会重建所有 60,000 个添加项。 25 模型校准揭示了评分和生成预算效应。五次评估得出的源密钥准确度为 34.8%-81.4%。在 981 个共享问题中，一种 API 服务模型的正确率从有 5 个选项的 93.7% 下降到有 10 个选项的 83.1%； 115 个丢失正确答案中的 102 个选择借用选项。启发式标记的负面词干下降了 24.4 个百分点，其他领域下降了 5.9 个百分点。对 200 个抽样问题进行的人工检查审核，使用未记录的审核工具，在两个记录集中产生了 47 个和 31 个多重答案判断，其中 25 个尚未解决。这些记录支持对模糊性的担忧，而它们的依赖性和不完整的审阅者方法文档限制了验证。由于顺序和标签也会发生变化，因此配对比较可以衡量实施时的增强。该贡献是一个可追溯的构建及其有效性限制的分析，而不是证明较低的十项选择分数可以更好地衡量知识。