论文

FAPO:多步骤 LLM 管道的全自动即时优化

FAPO: Fully Automated Prompt Optimization of Multi-Step LLM Pipelines

上下文与知识上下文工程

摘要

多步骤 LLM 管道会因检索、推理和格式化步骤之间的交互而失败,因此仅提示优化可能会错过链中的瓶颈。我们推出了全自动提示优化 (FAPO),这是一个框架,可让 Claude Code 在标准化代码库内优化 LLM 管道。 FAPO 评估流程、检查中间步骤、诊断故障、提出范围变更建议并反复验证变体以针对评分函数进行优化。它首先尝试即时编辑,只有当即时优化看起来不够充分时,当归因识别出结构瓶颈时,才会在允许的范围内更改链结构。在六个基准和三个任务模型中,FAPO 在 18 个模型基准比较中的 15 个中击败了基准 GEPA。在 11 项模型基准比较中,FAPO 以不重叠的平均 $\pm$ 试验标准差范围获胜,FAPO-GEPA 平均增益为 +14.1 个百分点。在提示优先搜索升级为结构变化的六项 HoVer 和 IFBench 比较中,FAPO 以 +33.8 个百分点的平均增益赢得了所有六项。FAPO 还提高了安全任务的性能:在 CTIBench-RCM 上,安全 CVE-to-CWE 任务,仅提示 FAPO 将 GPT-5 上的测试准确度提升了 +4.0 pp,在 Foundation-Sec-8B-Instruct 上提升了 +7.1 pp,在 Foundation-Sec-8B-Reasoning 上提升了 +2.0 pp。这些结果使 FAPO 成为适用于通用和安全任务的最先进的管道优化技术。