机器从制度痕迹中获取科学品味

从蛋白质折叠到奥林匹克数学，人工智能在具有可验证答案的任务上的表现可与人类相媲美或超越。然而，最主导科学进步的能力不是推理，而是品味：判断哪些未经检验的想法值得追求的能力，编辑和资助者每天都在运用，但从未成功地表达、教授或自动化。在这里，我们表明，对期刊出版决策的语言模型进行微调可以恢复前沿模型和人类专业知识都无法获得的评价判断。使用跨越四个质量层的管理研究的基准，我们发现涵盖主要专有和开放架构的 11 个前沿模型几乎没有超过机会，平均准确度为 31%。期刊编辑和编委会成员小组的多数票达到 42%。经过多年出版记录训练的微调模型均超越了所有前沿模型和专家小组，最佳单一模型达到了 59%。这些模型表现出经过校准的置信度，最高置信度预测的准确率达到 100%，并将这一评估信号转移到未经训练的成对比较和一句话摘要中。该机制概括为：根据经济学出版物记录训练的模型可达到 70% 的准确率。人工智能的影响力并没有缺少科学品味。它被存入机构记录中，等待提取。这些结果提供了一种可扩展的机制，可以对质量难以进行形式验证的跨学科不断扩大的科学成果进行分类。