论文
BackTrend:通过逆向重构评测科学弱信号预测
BackTrend: Evaluating Scientific Weak-Signal Prediction via Backward Reconstruction
摘要
科学弱信号是指早期、低可见度、后来成为成熟科学主题核心的研究方向,然而趋势追踪、引用预测与前瞻报告等现有资源,很少提供把具体早期前驱与后期范式联系起来的经过验证的参照集。我们提出 BackTrend,一个回溯式基准:给定一个成熟的目标主题和时间证据约束,系统必须找回两类前驱——问题空间信号(未被充分认识的研究问题)与解决方案空间信号(针对已知问题的新兴方法)。BackTrend 包含人工智能与机器学习领域 25 个成熟目标主题和 66 个人工验证的弱信号,通过将每个候选锚定于其 2019—2024 年的发表频率轨迹,从大规模文献中逆向重构而来。我们使用语义匹配与基于覆盖率的指标评估前沿 LLM、RAG 系统与智能体研究系统。当前系统常生成看似合理但错位的前驱,表现出主题漂移、粒度不匹配、近似匹配和覆盖不全;最强系统的 F1 仅 10.1%,Coverage10 最高只覆盖 18.5% 的参照信号。预算分析显示,增加检索与网络搜索证据在中低预算内能提升性能,但仅靠增加证据本身无法弥合巨大的性能差距。
