OEB开放性认知过程审计

智能体日益被交给开放式研究任务：从自设实验中发现经验规律、改进无人知晓最优值的启发式，或打破既有纪录。它们的执行日志记录了研究的每一步，但运行结果仍只按结果分评判。该分数本身无法确立智能体的主张是否由已执行实验支持，而参考答案可能并不存在。我们评估智能体的认知过程：它如何形成假设、检验假设并据证据修正。我们提出OEB（开放性基准），一种与具体基准无关的方法学，只读取智能体的执行记录，从不读参考答案或结果分。OEB把记录编译为统一的认知事件图，其边把智能体陈述的命题连接到检验它们的已执行动作；每个节点携带代码可对照记录核验的精确摘录。一条原则支配打分：散文可以陈述命题，但只有已执行动作返回的证据才能支持或反驳它，因此OEB把智能体所写与其实际所跑对照。由该图出发，OEB在四个能力轴（证据、实验、修正、无奖励黑客）上打分，多数为智能体抓住可靠研究机会的比例，并刻画六项描述研究习惯的主观人格特质。我们对来自三个基准、12个任务的119次既有运行打分：对照日志结果，智能体声称的改进只有16-29%属实。在10个任务中的9个上，最佳运行在后半程比最差运行尝试更多新想法。人格画像跟随模型：对每项特质，跑过它的模型解释了跨运行方差的更大部分（中位43%对7%）。