论文
Frontier LLM 是有效的批量优化器：在连续和离散设置中评估推理模型
Frontier LLMs are effective batch optimizers: Assessing reasoning models in continuous and discrete settings
摘要
Frontier 大语言模型 (LLM) 已成为有吸引力的优化先验，因为它们的大规模预训练使它们能够导航各种优化设置。然而，现代推理 LLM 在批量优化设置中的有效性仍未得到充分探索。在这里，我们研究了当前一代前沿 LLM 作为批量优化器在连续和离散设置中的性能。我们发现，虽然 LLM 是用于数值测试函数的有竞争力的零样本批量优化器，但与经典的非 LLM 优化方法相比，它们的性能很脆弱。然而，LLM 先验在语义丰富的设置中明显更好，这表明在结构与其预训练数据最相似的离散空间上进行导航和推理时，它们的批量优化行为非常有效。