潜在空间贝叶斯优化的上下文学习

贝叶斯优化 (BO) 是样本高效设计的核心工具，而潜在空间贝叶斯优化 (LSBO) 将其扩展到分子和蛋白质等结构化对象。与此同时，TabPFN 和 TabICL 等表格基础模型现在实现了最先进的回归性能，并越来越多地用作 BO 替代模型。由于它们的贝叶斯行为是由大型合成预训练集合引起的，因此该预训练分布的组成至关重要。 LSBO 造成了明显的不匹配：从潜在代码到目标值的诱导映射与用于训练当前上下文模型的回归任务明显不同。我们通过在分子 VAE 潜在空间上定义的综合优化任务补充表格基础模型代理的预训练阶段来解决这种不匹配问题。持续预训练目标具有一个正则化器，将模型锚定到原始检查点，保留其广泛的回归先验，同时避免适应任务的过度专业化。在坚持的分子优化基准上，所得模型取得了强劲的性能，支持了 LSBO 特定适应与上下文替代物的相关性。