论文
LABO：LLM - 通过广泛探索和选择性实验加速贝叶斯优化
LABO: LLM-Accelerated Bayesian Optimization through Broad Exploration and Selective Experimentation
摘要
科学探索中的高成本和数据稀缺促使人们使用 大语言模型 (LLM) 作为贝叶斯优化 (BO) 中的知识驱动组件。然而，现有方法通常将 LLM 直接嵌入到采样或代理建模管道中，而没有充分利用其与实际实验相比明显较低的评估成本。为了解决这一限制，我们提出了 LLM 加速贝叶斯优化 (LABO)，这是一个将 LLM 预测与单个 BO 循环内的实验观察相结合的框架。 LABO 采用门控标准来动态平衡对 LLM 预测与实际实验的依赖。通过利用廉价的 LLM 评估来广泛探索搜索空间并仅针对不确定性高的区域保留昂贵的真实实验，LABO 实现了更高效的样本优化。我们提供了具有累积遗憾界限的理论分析，将这种效率增益形式化。不同科学任务的实证结果表明，在相同的实验预算下，LABO 始终优于现有方法。我们的结果表明，LABO 提供了一种实用且有理论依据的方法，用于将 LLM 集成到科学发现工作流程中。