论文
Loreley:通过质量多样性搜索实现存储库规模的程序演进
Loreley: Repository-Scale Program Evolution with Quality-Diversity Search
摘要
顺序智能体搜索基于当前最优版本持续修改,却丢弃其他分支;独立生成方案保留多样性,但每次都从初始版本开始。Loreley将完整代码仓库状态保留在质量-多样性(QD)档案中,后续可选作父版本或提供为修改上下文。候选是在隔离工作树中生成的Git提交,由项目提供的评估器评分。受控Zstandard实验比较QD、顺序修改当前最优版本、从初始版本独立生成三种策略,设置七组配对实验,每种策略每组48个候选任务,共1008个任务,均从初始版本开始并使用各策略原有的并发方式。每个预算检查点依据验证集选出最佳版本,再用对智能体隐藏的留出集评测固定候选。在48任务预算下,QD比顺序策略低0.135%,比独立策略高0.320%;配对效应的95%区间分别为-0.556%至+0.161%和-0.082%至+0.686%,均未确立QD优势。顺序策略的均值和中位数最高。档案保留和后续采样确实发生:按事后定义的单一当前最优版本规则检查QD搜索记录,七个最终优胜版本中有四个的主要祖先包含当时非最优状态;计入启发来源后增至六个,但不能据此认定上下文导致了修改。此前三个能力探索实验在两个Python库和一个Zstandard版本中产生了第四代、多文件改进。Loreley实现了预期的中间版本复用机制,但受控实验未显示48任务预算下的最终性能优势。