论文

优化廉价,部署强大:具有成本意识的跨层传输以实现进化优化

Optimize Cheap, Deploy Strong: Cost-Aware Cross-Tier Transfer for Evolutionary Optimization

上下文与知识上下文工程

摘要

LLM 提示和代理程序(例如 GEPA)的进化优化以适应度评估为主:对每个候选者进行评分,在验证集上运行回答 LLM,因此评估者的价格等级决定了总搜索成本。我们通过解耦 LLM 所扮演的三个角色来重组搜索,在最便宜的层上运行高容量应答角色,为罕见的反射/变化运算符保留强大的模型,然后利用向上跨层传输将廉价进化的提示部署在更强的目标上。我们贡献了成本控制的特征,说明廉价层搜索何时替代目标层搜索以及它在哪里失败。在四个任务(HotpotQA、IFBench、LiveBench-Math、HoVer)和四个模型系列中的 11 个模型中,生成的提示匹配或超过同层优化,同时将超过 96% 的搜索标记放在最便宜的层上,搜索成本降低 5.6-14 倍,上升到 25-54 倍,其中推理层在每次健身调用时都会发出长长的思想链。