用于黑盒优化基础模型的开源训练数据集

大多数黑盒优化方法需要大量的超参数调整，这通常限制了它们在不同优化领域的泛化能力。从大量优化轨迹中学习优化原理的黑盒优化基础模型提供了一种有前途的替代方案，有可能在不同的问题类别中优于手动设计的方法。然而，之前的工作要么依赖于非公开数据集，要么依赖于纯粹的合成数据，限制了现实世界问题的再现性和泛化性。因此，由于缺乏大规模的、真实的、公开的 预训练 数据，该领域的进展受到限制。我们引入了 BBO-Pile，这是第一个开源数据集，包含超过 500K 的优化轨迹，针对不同的优化器在 3095 个不同的黑盒中进行了评估，它代表了迄今为止该任务最大的公共数据集。使用此数据集，我们在多个尺度上训练一系列基础模型，范围从 2M 到 80M 参数和 200M 到 2B 训练词元，并研究它们在计算方面的扩展行为。我们的结果表明，大规模 预训练 是模仿黑盒优化方法的可行且有效的方法，为该方向的未来研究铺平了道路。