论文
ATLAS:基于嵌入引导质量-多样性搜索的LLM无脚手架算法合成
ATLAS: Scaffold-Free Algorithm Synthesis by LLMs via Embedding-Guided Quality-Diversity Search
摘要
大多数基于LLM的自动算法设计方法都在人类指定的脚手架内优化某个指定组件,固定了整体组织与组件交互。我们提出ATLAS,一个用于组合优化中无脚手架全算法合成的嵌入引导质量-多样性框架。问题规约提供目标与约束;一个极简I/O接口只固定实例与解的格式;LLM自行选择并重构组件、交互与控制流。这种自由扩大了搜索空间,也带来无效候选与过早收敛到单一设计区域的风险。ATLAS独立检测执行、接口与可行性失败,重算目标,并施加错误条件化的修复;基于相似性的存档管理在嵌入空间各区域间保留算法,以对抗过早收敛。其三层搜索精炼最佳设计、给予其他区域专属的精炼机会,并执行跨区域合成以重组组件及其交互。在四个NP难问题上,ATLAS优于多个最先进的组件合成方法与一个对齐的全合成基线,同时与强人类设计算法保持竞争力。一次ATLAS运行会从不同嵌入空间区域保留多个性能相当的算法,而非单一设计。代码检视发现,这些多组件设计在主构造或全局搜索骨干上各不相同。我们的结果表明,嵌入引导的质量-多样性搜索能让扩大后的全算法设计空间变得实际可搜索。源代码与确切可执行提示见 https://github.com/Danial-Yazdani/ATLAS 。