论文
LLM 神经架构综合的相似性引导课程 微调
Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis
摘要
引入基于 MinHash 的相似性调度框架，该框架为基于 LLM 的神经架构搜索 (NAS) 构建神经架构代码的渐进课程。在标准化的 7 克源代码 shingles 上使用 128 排列 MinHash 签名，我们将参考池划分为相似带，并以不断增加的架构异质性呈现它们，并将每个阶段的最佳 LoRA 适配器累积合并到主干中。我们在 CIFAR-10 图像分类的 LEMUR 基准中评估 OlympicCoder-7B 上的框架，在六个渐进的 微调 步骤中每个时期生成 N = 15 个候选架构。该课程在高相似度水平上达到了60%的峰值成功率，无需后期处理修复。在最多样化水平的课程与基础模型、有部分界面修复与无部分界面修复的对比中进行 2*2 消融表明，没有修复的基础模型（47% 峰值 SR）大大优于课程模型（7% SR），而添加部分修复则使两者的 SR 达到 53%。这种模式与合并级别权重漂移逐渐消除评估器界面先验一致，并表明界面修复和课程安排针对不同的故障模式。我们进一步报告了 SVHN 上的跨数据集传输观察，其中无需课程预热的直接基础模型生成产生了 27% 的峰值 SR，其准确度 (60.5%) 远低于 CIFAR-10 等效值，这与 unq-family 锚架构的合成难度增加一致。