元认知监测测试组：LLM 自我监控的跨域基准

我们在 LLM 中引入了一种监控-控制耦合的跨域行为分析，该分析基于 Nelson 和 Narens (1990) 元认知框架，并将人类心理测量方法应用于 LLM 评估。该电池包含跨越六个认知领域（学习、元认知校准、社会认知、注意力、执行功能、前瞻性调节）的 524 个项目，每个项目都基于既定的实验范式。任务T1-T5在数据收集之前预先注册在OSF上；添加 T6 作为探索性扩展。在每次强制选择响应之后，改编自 Koriat 和 Goldsmith (1996) 的双探针要求模型保留或撤回其答案，并下注或拒绝。关键指标是提款增量：错误项目和正确项目之间提款率的差异。应用于 20 个前沿 LLM（10,480 次评估）时，该电池可区分与 Nelson-Narens 架构一致的三种配置文件：全面置信度、全面撤回和选择性敏感度。准确度排名和元认知敏感度排名在很大程度上是倒置的。回顾性监测和前瞻性监管似乎是分离的（r = 0.17，95% CI 宽，n=20；基于范例的证据是主要支持）。元认知校准的缩放取决于架构：单调递减 (Qwen)、单调递增 (GPT-5.4) 或平坦 (Gemma)。行为发现在结构上与独立的 2 类 SDT 方法趋同，提供初步的跨方法构建有效性。所有项目、数据和代码：https://github.com/synthiumjp/metacognitive-monitoring-battery。