从全球基准到本地评估：德国公共部门的基准 LLM

公共机构在选择适合其具体情况的 LLM 时面临着持续的挑战。然而，现有基准的用途有限，因为它们主要反映英语和以美国为中心的环境，并且通常仅评估任务性能。在本文中，我们展示了 MÖVE（德国公共部门的整体评估框架）的初步结果，研究了三个很少考虑的治理维度：能源消耗、供应商透明度和对德国政党立场的了解。我们的结果揭示了重大的权衡，没有一个模型在所有方面都表现出色：估计的能源消耗变化超过 60 倍，并且不能仅用模型大小来解释，信息披露在不同的供应商之间系统性地变化，欧洲模型没有表现出对德国政党立场的更深入的了解。因此，公共机构的模式选择不能仅依靠绩效排名。相反，评估还应该反映部署环境的治理要求。