论文

影响引导的符号回归:通过 LLM 驱动的方程搜索和粒度反馈进行科学发现

Influence-Guided Symbolic Regression: Scientific Discovery via LLM-Driven Equation Search with Granular Feedback

应用与实践科学研究

摘要

大语言模型 (LLM) 为科学发现提供了一条有前途的途径,但它们在符号回归中的应用常常受到低效搜索策略和粗略反馈信号的限制。当前的方法通常使用标量度量(例如全局均方误差)来指导 LLM,但无法识别所提出方程的哪些组成部分正在驱动性能或导致误差。我们引入 \textit{影响引导符号回归} (IGSR),一种将方程发现框架为一个迭代两步过程的方法,将不同项生成与严格选择相结合:LLM 为线性模型生成候选基函数 $ψ_j(\mathbf{x})$,然后使用粒度影响分数 $Δ_j$ 对其进行评估。这些分数量化了每个项对泛化准确性的边际贡献,从而实现了影响引导的修剪过程,系统地完善了模型结构。将此机制集成到蒙特卡罗树搜索 (MCTS) 中,可以在组合搜索空间中导航,同时平衡新颖功能形式的探索与高影响力组件的开发。我们在一系列不同的基准测试中证明了 IGSR 的有效性,包括 LLM-SRBench、药理学 PKPD 模型、流行病学模拟和真实世界的基因组数据。值得注意的是,我们在使用高维生物数据集的案例研究中验证了该框架真正发现的能力,其中 IGSR 确定了 DNA 甲基化和 RNA 聚合酶 II 暂停之间的新关系;这一假设随后通过湿实验室实验得到了支持。