EuraGovExam：来自现实世界公务员考试的多语言多模式基准

我们推出 EuraGovExam，这是一种多语言和多模式基准，源自欧亚五个代表性地区（韩国、日本、台湾、印度和欧盟）的现实公务员考试。该数据集旨在反映公共部门评估的真实复杂性，包含 8,000 多个高分辨率扫描多项选择题，涵盖 17 个不同的学术和行政领域。与现有基准不同，EuraGovExam 将所有问题内容（包括问题陈述、答案选择和视觉元素）嵌入到单个图像中，仅提供最低限度的答案格式标准化说明。这种设计要求模型直接根据视觉输入执行布局感知、跨语言推理。所有项目均取自真实的考试文档，保留了丰富的视觉结构，例如表格、多语言排版和类似表格的布局。评估结果表明，即使是最先进的视觉语言模型 (VLM) 也只能达到 86% 的准确率，这凸显了该基准测试的难度及其诊断当前模型局限性的能力。通过强调文化现实性、视觉复杂性和语言多样性，EuraGovExam 建立了在高风险、多语言、基于图像的环境中评估 VLM 的新标准。它还支持电子政务、公共部门文件分析和公平考试准备方面的实际应用。