论文

为 LLM 引导模型改进策划同族神经网络:受控案例研究

Curating Same-Family Neural Networks for LLM-Guided Model Improvement: A Controlled Case Study

上下文与知识上下文工程

摘要

神经网络存储库包含可执行模型、配方、输入转换和测量精度。我们研究是否可以策划一项同家庭实验,作为在同等生成和评估预算下基于 LLM 的低绩效目标改进的即时指导。 TuneNNGen 使用源引导路由扩展了 NNGPT,并将其与一个 CIFAR-10 目标、两个固定源选择规则、三个代码 LLM 和一个附加 SVHN 目标上的仅目标生成进行比较。根据历史单周期搜索协议,可用评估分割的最佳预算准确度在 CIFAR-10 上从 23.98% 上升到 50.49%,在 SVHN 上从 22.54% 上升到 78.80%。选定的 5 epoch、3 种子均值对训练衍生的验证分割保留了 CIFAR-10 上 40.94 点的增益、Imagenette 上的 18.83 点的增益以及 CIFAR-100 上 7.27 点的增益。直接复制和阴性对照分析表明,增益取决于源-目标兼容性和 LLM 适应;仅存储源的准确性并不能预测可转移性。