论文
审计发现声明:Agentic科学的双向判据与可判定的否定面
Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable
摘要
自改进科学AI声称获得新能力时,证据通常是基准差异、描述长度门槛或p值,但这些都不能区分真实增益、额外搜索、验证器变化或对不完美评判器的适应。我们建立双侧审计,否定侧具有形式依据:无假结的判定器无法表示交叉碱基对,因此运行前即可离线确定原验证器的表达边界。“新增”相对Agent自身原有能力,而非基础模型。首先,我们考察单个不完美判定器可以将能力声明放大多少。一个新构造、无需求解器的算子,在它所优化的预测器下解出60个交叉RNA目标中的43个,超过无上下文基线0/60;三个预测器共同评估时只剩1/60。对同一组43个目标,算子未见过的预测器仅确认其两个设计,而最小自由能求解器为26个(p=8e-7)。系统与自身判定器计算的任何统计量都无法看见这个差距。其次,在无法靠优化目标讨好的评审器下,Agent编写的程序可以用更少计算优于人工程序。六个前沿模型中,两个算子未超时的模型,迁移后得分0.293,人工方案为0.095(951个配对单元,目标聚类区间[+0.108,+0.297],p=5e-5),同时少用4.6—10倍判定器调用。三层标准中,外部仲裁差异与非额外计算换来的增益均达到,机制可识别且可迁移则未达到:测试七个候选机制,没有改变统计量。面板自身仍限制结论,三个预测器共享最近邻热力学参数,其中两个一致性κ=0.673。对自身系统同样严格审计发现,匹配的无方向搜索增益严格为零,无搜索探针将主要效应的84%归到随机序列本来已能解决的目标。