论文
DASH:自动贝叶斯优化中解耦的自适应代理与采集Harness
DASH: Decoupled Adaptive Surrogate - Acquisition Harness for Automated Bayesian Optimization
摘要
基于贝叶斯优化(BO)的自动贝叶斯优化(AutoBO)通过在线适应BO组件来解决任务和优化阶段的差异性。然而,现有的AutoBO方法要么单独适应一个组件,导致其他组件与之不匹配,形成瓶颈,要么联合选择共享标准的surrogate和acquisition,忽视了它们各自的角色:surrogate的选择依赖于预测可靠性,而acquisition的适应性应根据campaign的上下文。在这项工作中,我们提出了DASH,一种用于大语言模型(LLM)增强的AutoBO的解耦式适应性surrogate和acquisition代理。DASH通过预测可靠性、不确定性校准和排名一致性来选择surrogate,其两阶段的acquisition控制器定期分配quotas给acquisition functions,从而构建BO短列表,并将最终选择权交给LLM。DASH还整合了一个集成代理,包括知识引导的预热和结构化的记忆,以将优化置于领域知识和累积反馈的基础上。在四个化学优化任务上,DASH在加速因子的轨迹级上优于最佳的AutoBO基准12.51%,在终点增强因子上优于最佳的AutoBO基准5.00%。结果在LLM后端上保持强劲,且消融实验验证了所有组件的互补贡献。全表和行为污染检查发现,直接基准记忆或源细胞泄露无法解释这些改进。
