信任主权语言模型作为科学工具：来自葡萄牙 AMALIA 的证据

国家语言模型正在成为公共资助的认知基础设施。公共所有权、语言专业化和开放权重创造了可信度的假设。这种由语言社区构建并为其服务的工具看起来是衡量该社区的言论和价值观的自然选择。这样的模型是否能有效地测量任何东西在发布时未经测试。 LLM 作为测量仪器的评估通常是针对特定任务的，并且在与人类编码员达成一致后停止。协议无法区分测量结构的 LLM 仪器和通过表面关联达到匹配代码的仪器。我们审核了一个有利案例的推定：AMALIA，葡萄牙的公共资助的 9B 模型，编码了欧洲葡萄牙语权威的道德基础。 \textit{recovery gap} 使审计变得可操作：将密码本分解为其理论定义的子句，通过理论的明确规则将它们重新组合，并测量所述理论再现了多少原始提示的性能。在一项针对转译（英语到欧洲葡萄牙语）语料库的预先注册的样本外研究中，AMALIA 在开放模型大小八到十三倍的六个点内与训练有素的编码员达成了一致。然而，恢复差距表明，只有大约一半的权威编码性能可以归因于该理论。更大的多语言 LLM 缩小了同一语料库上的恢复差距，这表明缺陷在于注释器模型，而不是语料库或其翻译。主权赢得运营和绩效信任；认知信任需要校准——而且审计方法成本低廉，并且可以跨模型、语言和任务移植。