利用大语言模型将任务相关上下文编译为贝叶斯优化

整合丰富的任务相关上下文（例如领域知识和外部观察）是一项关键功能，但对于贝叶斯优化 (BO) 来说仍然具有挑战性。最近，从业者开始使用大语言模型（LLM）通过编码工具生成和执行 BO 程序。在此类新兴实践中，后验信念不仅由贝叶斯推理决定，还由 LLM 生成的模型和数据制品决定，为任务上下文以可执行代码形式输入 BO 提供了灵活的途径。为了研究是否以及如何利用大语言模型来为 BO 编译不同的上下文信号，我们将 LLM 编译的 BO 制定为广义上下文决策。我们提出了 HarBO，这是一种 BO 专用工具，它通过经过验证的多阶段工作流程将广义上下文编译成标准 BO 的核心工件。我们的理论分析了不完善编译下的遗憾以及添加新上下文的效果。在综合函数和现实世界基准中，我们发现 LLM 工具可以有效地将上下文编译成标准 BO，通过专门的基于 LLM 嵌入和直接 LLM 循环 BO 方法实现具有竞争力的性能。通用编码工具在熟悉的领域（例如超参数优化）中可能很有效，但在不熟悉的、上下文丰富的领域中却表现不佳。总之，这些结果表明 LLM 工具是一种有前途但并非自动可靠的途径，可以使丰富的任务上下文在 BO 中可用。