科学还是马虎？：对人工智能生成的论文中的科学马虎进行基准测试和缓解

人工智能生成的内容（通常称为 AI slop）在各地越来越普遍，尤其是在学术界。然而，人工智能生成的科学论文中的 Slop 具有更复杂的模式，现有的基于词元的人工智能检测器无法轻松检测到这些模式。此类论文的每个部分看起来似乎都有道理，但连接各部分的科学推理却支离破碎，这可能会误导读者如何评估该作品。我们通过结构、论证和文物等六项指标将这些失败视为科学失误。我们用 390 篇 AI 生成的论文构建了 SciSlopBench，这些论文主要是计算机科学领域，但涵盖生命、社会和自然科学，每篇论文都与一篇与研究问题和贡献类型相匹配的人类撰写的论文配对。我们的测量方法识别每对 AI 论文的准确率为 85.9%，而双筒望远镜的准确率为 68.7%。从 2017 年到 2025 年，每年较高的科学偏差伴随着较低的 ICLR 评级，并将被拒绝的论文与已接受的论文区分开来。然而，减少这些模式并不像直接优化措施那么简单。因此，我们提出了 SciSlopHarness，一个利用级框架，指导固定的 LLM 仅在实验记录支持更改的情况下修改 slop。虽然标准修订会留下残余的溢出，并且直接的溢出感知提示会触发奖励作弊，但 SciSlopHarness 比最强的修订基线将剩余的人工智能与人类差距减少了 63%，而无需人类参考目标。总体而言，我们证明人工智能生成的科学论文在其全球推理中留下了基本痕迹，而负责任的缓解措施需要严格的证据基础，而不仅仅是散文的精炼。