论文
Mara Chain:重新思考失败作为AI系统自动进化的垫脚石
Mara Chain: Rethinking Failure as a Stepping Stone for AI System Auto-Evolution
摘要
优化已部署的人工智能系统越来越多地涉及编辑提示、技能、工具和代码,而不是模型权重。现有方法通常通过建议-评估-选择过程来优化这些工件,其中评估候选配置,并且仅选择那些满足验收标准的配置。然而我们的分析表明,被丢弃的候选者通常包含对后续优化至关重要的信息。丢弃它们会导致后来的提案重新审视相同的故障模式。我们引入了 Mara Chain,这是一种将被拒绝的候选人变成踏脚石的细化程序。 Mara Chain 没有丢弃被拒绝的候选者,而是保留并使用之前尝试中积累的证据迭代地完善它。该过程将每个细化链限制在固定深度,并应用 Pareto 过滤的 Top-N 选择来限制候选池。通过 AppWorld 技能优化、TerminalBench 2.1 工具优化和 MuSiQue 检索管道优化,Mara Chain 以更少的部署次数实现了更大的任务性能提升。它在 AppWorld 上的相对性能比 GEPA、ACE 和 SkillOpt-Lite 高出 20.5%,达到目标分数时,部署次数比 GEPA 少 65.5%。与 TerminalBench 2.1 上的 AHE 和 Meta-Harness 相比,它的通过率分别提高了 20.2 和 22.5 个百分点,并且与手写检索管道相比,MuSiQue 测试 nDCG@10 和 Recall@10 分别提高了 0.104 和 0.131。