使用 Google 论文助理工具实现科学评审自动化

人工智能正在推动科学发现的一场革命，加速从假设生成到数学定理证明的一切。然而，这种快速加速正在带来系统性挑战：传统的人类同行评审无法适应人工智能辅助科学的涌入。最终，为了解决这种紧张局势，我们还必须部署人工智能来加速验证和审查过程本身。为了围绕这一转变进行讨论，我们提出了一种分类法，其中包括科学评估中人工智能与人类合作的四个渐进级别，并讨论了每个级别所涉及的各种权衡。作为迈向这一未来的一步，我们推出了论文辅助工具（PAT），这是一个为深度科学审查和验证而构建的代理人工智能框架。 PAT 吸收完整的科学手稿并进行综合评估，检查理论结果，验证实验，提出改进建议并识别潜在缺陷。通过利用推理缩放技术，PAT 能够比单独的单个模型调用识别更深层次的问题，与 SPOT 基准中的数学错误零样本召回相比，实现了 34% 的改进。在两个主要计算机科学会议（STOC 和 ICML）上，PAT 作为作者的预提交工具进行了试点部署，证明了其识别关键错误并建议对研究论文进行实质性改进的能力。通过及早发现错误，PAT 减轻了裁判员的认知负担，同时保留了他们对审核过程结果的控制。