论文
以正确的顺序更好地结合起来:SE 的经典 LLM 优化
Better Together, in the Right Order: Classical-then-LLM Optimization for SE
摘要
越来越多的工作将 大语言模型 (LLM) 与软件工程 (SE) 配置任务的经典优化器相结合。通常,经典优化器负责:它拥有搜索循环并调用 LLM 仅用于协助子例程(例如,热启动第一代、提出突变或作为代理)。我们报告说,相反的方法有很大的价值:用廉价的经典学习器的结果播种 LLM。我们将此方法称为 SNAP2。应用于超过 100 个 SE 任务时,它是所有研究方法中最好的,在 85% 的任务上达到了顶级水平,领先于单独运行的相同 LLM (75%),并且领先于经典优化器保留控制的每种方法。它也更便宜:相对于单独的 LLM 方法,它使用的词元大约减少了 30%,运行速度提高了 1.4 倍,因为经典设置执行廉价的工作,并且仅调用 LLM 来完成。我们的结论是,孤立地研究经典学习器或 LLM 是不明智的:将两者结合起来并按照组合的应用顺序有很大的价值。