论文

GraphIR:LLM 引导的神经架构进化的架构级搜索状态

GraphIR: Architecture-Level Search States for LLM-Guided Neural Architecture Evolution

上下文与知识上下文工程

摘要

大语言模型 (LLM) 可以直接通过可执行神经网络程序进行神经架构搜索 (NAS)。然而,代码级灵活性并不能提供有效突变所需的架构状态:LLM 必须从实现细节推断张量依赖性、可编辑组件和兼容性约束。为了解决这种表示不匹配的问题,我们提出了 GraphIR,这是一种架构感知的中间表示,它用突变对齐的候选状态补充了可执行程序。 GraphIR 通过三个互补的视图来组织每个候选者:描述张量流的计算骨架、暴露可编辑模块和操作的突变表面,以及捕获接口契约、传播形状和下游依赖项的有效性包络。为了评估我们的方法,我们构建了 NAS-Dependency,这是一个包含 120 个问题的基准,涵盖六个互补的依赖推理维度。诊断结果表明,GraphIR 在识别准确的生产者事件、跟踪依赖关系传播以及诊断接口和故障风险方面特别有效。在包括 CLRS 在内的六个下游基准测试中,当集成到 OpenEvolve 中时,GraphIR 实现了最佳的整体搜索性能,同时保持了可比的模型大小和良好的端到端 NAS 效率。这些结果表明,面向突变的架构状态在可执行神经程序和 LLM 引导的架构演化之间提供了有效的接口。