LLM 驱动的神经架构搜索的结构化渐进知识激活

本文重点关注神经架构搜索（NAS）中的一个关键挑战：整合现有的架构知识，同时在昂贵的评估下探索新的设计。 大语言模型 (LLM) 是 NAS 的一个有前途的助手，因为它们可以将丰富的架构和编码先验转化为可执行的代码编辑。然而，在实践中，看似局部的修改通常会传播为非局部的行为和性能变化，因为单个编辑可能会无意中耦合多个相互作用的功能因素，我们将这种现象称为功能纠缠。为了使 LLM 知识在这种纠缠下可用，我们提出了结构化渐进知识激活（SPARK），它通过显式选择功能因子来修改和调节对该因子的编辑来激活相关先验。这种因子条件编辑减少了纠缠的副作用，并产生更有针对性、更可靠的架构修改。在 CLRS-DFS 上，SPARK 实现了 28.1 倍的样本效率架构演进加速，并在 OOD 精度方面产生了 22.9% 的相对改进。我们的代码可在 https://github.com/AIM-ResearchLab/SPARK 获取。