论文

BackTrend:通过逆向重构评测科学弱信号预测

BackTrend: Evaluating Scientific Weak-Signal Prediction via Backward Reconstruction

模型评测基准与评测资源

摘要

科学弱信号是指早期、低可见度、后来成为成熟科学主题核心的研究方向,然而趋势追踪、引用预测与前瞻报告等现有资源,很少提供把具体早期前驱与后期范式联系起来的经过验证的参照集。我们提出 BackTrend,一个回溯式基准:给定一个成熟的目标主题和时间证据约束,系统必须找回两类前驱——问题空间信号(未被充分认识的研究问题)与解决方案空间信号(针对已知问题的新兴方法)。BackTrend 包含人工智能与机器学习领域 25 个成熟目标主题和 66 个人工验证的弱信号,通过将每个候选锚定于其 2019—2024 年的发表频率轨迹,从大规模文献中逆向重构而来。我们使用语义匹配与基于覆盖率的指标评估前沿 LLM、RAG 系统与智能体研究系统。当前系统常生成看似合理但错位的前驱,表现出主题漂移、粒度不匹配、近似匹配和覆盖不全;最强系统的 F1 仅 10.1%,Coverage10 最高只覆盖 18.5% 的参照信号。预算分析显示,增加检索与网络搜索证据在中低预算内能提升性能,但仅靠增加证据本身无法弥合巨大的性能差距。

BackTrend:通过逆向重构评测科学弱信号预测:论文配图
图 2:BackTrend 构建流程概览。我们首先从 2024 年 JRC 报告(Eulaerts et al., 2025)的人工智能与机器学习领域整理出 25 个成熟的目标主题,并从 Semantic Scholar 检索其 2019–2024 年的论文。然后,我们从 2019–2023 年摘要中挖掘问题空间与解决方案空间的候选主题,通过嵌入聚类加以合并,并按候选主题 2019–2024 年的发表频率评分,仅保留通过全部四道频率门槛的候选。最后,作者中的两位 AI/ML 研究者对存留的候选就主题相关性、问题/解决方案归类正确性、时间一致性以及证据忠实性进行验证,产出最终的 BackTrend 基准。