IQS-BO：贝叶斯优化的上下文查询选择

贝叶斯优化 (BO) 是一个强大的框架，用于优化昂贵的黑盒函数，但通常需要在每个评估步骤重新拟合代理并最大化采集函数。基于先验数据拟合网络（PFN）的上下文方法通过根据综合先验提取的函数对Transformer进行预训练来分摊部分成本。 PFNs4BO 摊销代理，但仍然依赖于数值最大化的获取函数，而 FIBO 通过从学习密度中采样优化器位置来完全在上下文中执行 BO，这固定了决策规则并且不承认任何代理。学习获取函数通过经过训练的网络对有限候选集进行评分，但是，由于缺乏查询标签，因此可以通过对先前解决的任务进行强化学习来学习分数。我们提出了 IQS-BO，这是一种通过对合成先验进行监督学习来学习查询决策的 PFN。在单次前向传递中，IQS-BO 预测每个候选者在集合上最大化目标的概率，并且我们表明其目标的最小者是该事件的后验概率。该模型可以在没有完全上下文 BO 代理的情况下进行预训练，或者将固定概率代理的预测作为附加输入，仅摊销决策步骤。我们的方法以基于采集的方法的一小部分成本提出查询，同时在合成和现实世界基准上匹配或优于高斯过程（GP）的标准 BO 和可用的上下文方法。最后，我们提出了一种用于预训练 PFN 的混合先验，它将来自 GP 的样本与表现出扭曲输入、孤立的窄最优值或 GP 代理中常见的固定核建模不佳的平台的函数结合起来。我们表明，对此先验进行预训练可以提高优化性能。