用于乐观优化的自适应划分方法

工程设计等应用通常需要我们优化黑盒功能，即内部处理过程无法通过分析得知且 梯度 不可用的系统。从业者通常对函数评估的数量有固定的预算，并且优化算法的性能通过其简单的后悔来衡量。在本文中，我们研究了一类使用域划分方案的黑盒优化“乐观优化”算法。我们开发的算法可以学习良好的分区方案，并在优化过程中使用灵活的代理模型模型（例如神经网络）。对于 $d$ 维度内的 $m$ 维度子空间上的多索引函数，我们的算法获得了 $\tilde{O}(n^{-β/ d})$ 遗憾，其中 $β= 1 + \frac{d-m}{2m-1}$ 与 SequOOL 的 $\tilde{O}(n^{-1/d})$ 不同，SequOOL 是一种最先进的乐观优化算法。我们使用我们的方法来提高 OPT-1.3B 模型的激活感知权重量化 (AWQ) 的质量，相对于最佳的未量化模型，实现了 $\sim10\%$ 的性能改进。