PseudoBench：测量智能体自动研究如何助长伪科学

随基于大语言模型的智能体进入自主科学研究——其抵抗伪科学的能力日益重要。否则——此类系统可能快速生成貌似合理却误导的研究——污染学术文献——侵蚀对科学的信任。我们呈现PseudoBench——评估智能体自动研究系统能否识别并抵抗伪科学叙事的对抗基准。PseudoBench含跨五域的200对精选伪科学声明-证据对——并经从实验到写作的端到端研究管线评估智能体。测试七个SOTA智能体——我们发现当前系统 readily 产出迎合伪科学前提的有说服力报告——拒绝率近零——最高抵抗率仅27.4%。更强的智能体面临以更精致科学语言包装伪科学的风险——提高其表观可信度。这些发现揭示了助长伪科学的惊人能力——呼吁在大规模部署前进行科学对齐。