论文
一种方法,多种用途:跨语言和模型的自我进化编码
One Recipe, Many Harnesses: What Self-Evolution Encodes Across Languages and Models
摘要
自进化Harness是闭环系统,代理在其中检查自己的执行轨迹并编辑其提示、工具和内存。他们在评估中可靠地改进了 编码智能体,但之前的工作报告了总体收益,而不是分析进化的工件编码的内容。因此,目前尚不清楚它们是否编码特定于基准的适应、特定于语言的工程知识或对底层模型的限制的补偿。我们通过在八种编程语言(Multi-SWE-Bench)和三个基本模型的网格中保持固定的进化配方,并分析生成的工具来理清这些因素。该配方通过键入的故障信号路由每次编辑,并将其记录为可证伪的合同,使每次修改都可以在进化后归因。出现了四项发现。 (1) 在大多数细胞中,该循环比最小种子和手动设计的迷你 SWE 代理支架提高了保留求解率,但有两个无效区域。 (2)增益补偿可恢复的执行缺陷,其中缺陷质量接近于零,增益也接近于零;哪种缺陷占主导地位是细胞特异性的。Harness缩小了策略可以做什么和它做了什么之间的差距。 (3)进化的工具共享跨语言的抽象剧本,但用几乎不相交的语言生态系统机制来实例化它。 (4)共享的核心转移并可以被提炼成一种通用的工具,而生态系统边缘则抵制这两种工具并需要本地的重新进化。总之,这些结果将进化后的工具重新塑造为一个清晰的补偿层,由语言的工程需求和模型的行为差距共同塑造,而不是一个不透明的基准调整支架。