论文

T-GADE:热力学选择驱动的大模型结构化产物演化

T-GADE: Thermodynamical Generative-AI-Driven Evolution of LLM Artifacts

模型推理推理搜索与路径规划

摘要

将进化计算与大语言模型(LLM)结合需控制种群多样性及生成能力。在LLM输出中,具有明确结构的输出(如描述配对代码)被称为结构化产物;本文简称为产物。我们提出T-GADE,通过引入基于LLM的遗传算子和产物级多样性评估,扩展热力学遗传算法以进化此类产物。一个通用的自由能目标支持代际更新和稳态更新,其中Fermi型占据排除重复基因型,Bose型占据允许重复。我们推导出单成员移除的精确条件,并恢复了《进化启发式》(EoH)中零温生存规则的条件。在EoH论文研究的在线装箱任务中,超额指标为实际bin数量超体积下界的部分。训练超额使用搜索实例,转移超额使用另一bin容量的实例。在T=0.003的代际Bose型T-GADE中,训练超额中位值降低约29%,从1.152%降至0.815%,每配置运行20次(双尾Mann-Whitney检验p=0.042,Cliff's δ=0.378)。其两个最终排名最高的候选中,验证选择的转移超额中位值达到EoH的0.496%。结果表明,热力学选择和基于验证的保留产物使用具有实际价值。