构建开放式 NAS：使用 LLM 进行半自动化设计知识构建，以实现高效的神经架构搜索

当前的神经架构搜索（NAS）方法通常受到其预定义的限制性搜索空间的限制。虽然最近的 大语言模型 (LLM) 辅助 NAS 方法可以实现开放式搜索空间，但由于设计理念存在偏见或低质量，它们经常会遇到低效的探索。为了解决这些问题，我们提出以半自动结构模型设计知识来指导搜索过程。我们的方法首先定义架构属性的高级结构模板。然后，LLM 通过分析论文来填充此模板，创建体现这种结构化设计知识的丰富多样的搜索空间。为了有效地探索这个广阔的空间，我们引入了 FairNAD，使用多类型突变，通过公平想法采样的突变、Pareto 感知突变、LLM 驱动的迭代突变和细粒度反馈循环来实现广泛的探索。我们证明了 FairNAD 在发现高性能架构方面的有效性，与当前最先进的方法相比，这些架构在 CIFAR-10、CIFAR-100 和 ImageNet16-120 上分别提高了 0.84、2.17 和 2.35 个点。