GRAPE：查询高效的高维贝叶斯优化的梯度细化和进度感知开发

优化昂贵的高维黑盒函数仍然是现代机器学习和科学发现的核心挑战。虽然局部贝叶斯优化减轻了维数灾难，但现有技术通常优先考虑下降的概率而不是进展的幅度。这会导致过于保守的步骤，产生的改进可以忽略不计，浪费了对几乎肯定会下降但几乎没有下降的方向的查询。我们引入了梯度细化和进度感知开发（GRAPE），这是一个两阶段框架，首先通过封闭形式的获取函数锐化局部梯度后验，然后通过最大化下降条件下的预期下降来选择更新方向。理论分析证明，该梯度细化阶段单调地最小化局部不确定性，并且随着后验锐化，进度感知方向收敛到真正的最速下降。根据经验，GRAPE 在高维任务中表现出卓越的查询效率：在黑盒对抗攻击中，它比基线平均加速 5.4$\times$，而在 大语言模型 提示优化任务上，它的表现优于第二佳方法，最终平均遗憾减少了 3.8 个对数单位。