AI智能体能否开展开放式AI研究？来自两个案例研究的早期证据

关于AI爆炸式进展的预测系于AI智能体能否实现AI研究的自动化。但关于智能体能否开展开放式AI研究的证据还很薄弱。现有评估要么让智能体完成狭窄且可验证的任务，从而排除了开放式研究；要么把AI生成的论文提交盲审同行评审，而盲审已不堪重负、充满随机性且审稿质量不佳。我们引入第三种衡量AI研发自动化进展的途径：让一个智能体承接一篇高质量未发表论文的核心开放式研究问题，并由论文原作者为其产出打分。我们称之为影子评估（shadow evaluations）。我们对两篇未发表的NeurIPS 2026投稿进行了影子评估，给予前沿智能体六天时间和数千美元的算力。智能体在无人协助下完成了全部工程工作，却未能在回答研究问题上取得实质性进展。结果，两份产出论文都被原作者明确拒绝。我们识别出五种反复出现的失败模式：对可发表研究水准的判断不佳、面对研究设计缺陷缺乏创造性的应对、从死胡同回退的低效、资源意识薄弱，以及指令漂移。使用第二个模型和脚手架的稳健性检验重现了这些失败。我们公开了专家评审、问卷回应、智能体代码库和日志。我们的结果提供了早期证据：当今的智能体能够完成AI研究的工程部分，却在研究生命周期的关键环节上力不从心。