面向多目标贝叶斯优化的证据门控LLM先验

大型语言模型 (LLM) 越来越多地用作黑盒优化的启发式顾问，但它们的建议和自我报告的置信度不一定根据下游目标值进行校准。这个问题在多目标贝叶斯优化中变得更加明显，其中不同的目标可能需要不同的专业知识，并且大语言模型专家可能对一个目标有用但对另一个目标产生误导。我们研究如何在离散多目标贝叶斯优化中使用大语言模型生成的专家先验，而不盲目信任它们。我们提出了一种客观明智的声誉市场机制，将每个专家目标对视为可证伪的先验来源。专家权重根据观察到的客观反馈在线更新，随着时间的推移进行折扣，并受到市场级别的信任的控制。然后，我们引入了一个解耦的反事实门，它可以毫无信心地使用 LLM 先验，有信心地使用它，或者完全放弃 LLM 先验。通过受控合成压力测试和使用 \qwenflash{} 生成的专家先验的三个分子优化基准，我们发现动态目标明智校准比固定的 LLM 先验提高了鲁棒性。然而，原始的 LLM 信心并不可靠：在 ESOL 上，信心与预测误差正相关；在 FreeSolv 上，信心会有所帮助；在亲脂性方面，忽视信心仍然最强。我们的固定三臂反事实门比 ESOL 和 FreeSolv 上的第一个反事实变体有所改进，而尝试的保证金投资组合暴露了一个有用的负面结果：保证金选择应该是收购感知的，而不是仅基于一步先验错误。