自动内核发现有助于理解高维贝叶斯优化

高斯过程 (GP) 内核是贝叶斯优化 (BO) 的核心，但为高维问题设计有效的内核仍然依赖于大量的手动工程。现有的自动化方法在高维度上面临两个瓶颈：它们的内核搜索空间仅限于基本内核的加法和乘法，而基于 LLM 的方法需要对原始观察进行调节，而由于上下文长度限制和提取有意义的模式的困难，这变得不可行。我们引入了 \textbf{Kernel Discovery}，这是一个 LLM 驱动的高维 BO 进化框架，它搜索超出预定义组合规则的更广泛的内核空间，并且不需要对观察进行调节。由于直接提示 LLM 生成内核代码会产生语法不同但功能相同的内核，我们采用了两阶段方法：LLM 首先提出新的数学形式，然后第二个 LLM 调用将每种形式转换为经过验证的可执行代码。我们还提出了留一法连续排名概率得分（LOO-CRPS）作为惩罚过度拟合内核的选择标准。在五个高维 BO 基准上，我们的方法取得了 \textbf{1.2（满分 17）的平均排名，优于竞争基准。我们进一步分析发现的内核，以确定哪些内核可以改善高维 BO。