论文
Bi-EZP：LLM 引导的双层程序演化，用于集成零成本代理发现
Bi-EZP: LLM-Guided Bilevel Program Evolution for Ensemble Zero-Cost Proxy Discovery
摘要
零成本代理使神经架构搜索 (NAS) 能够根据初始化时计算的统计数据对候选网络进行排名，从而避免重复训练。然而，不同的代理捕获不同的属性，并且通常会在搜索空间中产生不一致的排名。集成代理可以组合互补信号，但自动发现必须优化离散聚合结构及其连续系数，使得结构质量难以与参数校准分开。我们提出 Bi-EZP，一个将这些决策解耦的双层框架。在上层，大语言模型 在四个互补的基本代理上生成可执行聚合程序，并具有特定于程序的参数范围。在下层优化，协方差矩阵适应进化策略（CMA-ES）在内部训练分割上优化每个固定程序的连续参数。然后使用肯德尔在不相交验证分割上的排名相关性来评估校准程序，从而使进化选择能够支持超出其校准数据的泛化结构。 NATS-Bench 和网络设计空间上的实验评估异构搜索空间的排名性能，DARTS 实验评估下游架构搜索。结果表明，将程序发现与数值校准分开，为自动化集成零成本代理构建提供了一种有效的方法。源代码位于：https://anonymous.4open.science/r/Bi-EZP-318D