论文

认知模块机制审计:核查LLM Agent的模块计算是否实际影响输出

Real Computation or Merely Naming? A Pre-Registered Mechanism Audit of 25 Cognitive-Architecture Modules in an LLM-Based Agent System

模型评测智能体系统Agent Harness评测方法与指标模型行为与机制分析

摘要

基于本地大语言模型的 Agent 系统,越来越常用认知架构词汇营销:将名为全局工作空间、心智理论、因果推理或主动推断的模块列为功能,并把名称存在视为机制存在。本文先追问:名称所指的计算是否真正发生?作者提出可迁移的主张—实现差距验证方法,即包含四个问题、附带行号证据与调用链追踪的静态审计协议,并在两个系统中演示。研究审计一个声称具备25种认知机制的系统,为11个模块预注册可证伪预测并实施干预;还在第二个独立系统的 IIT-phi 核心上,按照另行预先承诺的证伪标准复现协议,并进行两项修复实验作为阳性对照。25个模块中,18个的计算值从未进入任何实际运行输出;研究识别出三类此前死代码与代码异味文献未描述的闲置连接形态:已连接但从未调用、被调用但不起作用、被调用但不依赖内容。在12项干预的61条冻结标准中,53条获确认,2条部分裁定,5条被证伪,1条裁定不明。修复使规划器任务成功率从0.028提高到1.000,状态控制器错误减少52%。模块名称与实际计算必须作为独立主张审计;该协议与五类失败分类可复用于主张—实现差距检查,证据深度限定于两个系统的案例层面。