优化器即智能体：跨提示词、程序与ML工作流的推理驱动搜索

近期用于优化提示词、程序与ML工作流的系统通常依赖显式的外环控制器，如进化搜索、多臂老虎机或文本梯度方法。我们提出一个根本不同的问题：这种搜索策略有多大程度可以被单个工具使用型智能体内化？我们提出ReASearch，一个推理驱动优化的统一框架，其中智能体自主决定评估什么、如何诊断失败、进行哪些编辑以及何时验证或重启。智能体不再只充当由手工设计启发式引导的提议生成器，而是主动分析结果、分配预算，并通过持久记忆在长时程上精炼其策略。通过共享的智能体循环与领域特定工具，ReASearch用完全相同的脚手架来优化提示词、程序与ML工作流。在14个多样任务上，它与专用优化系统相当且大多更优，相对强领域基线取得2%到40%的增益，在某些情况下发现了超越先前人类已知最优的解。关键的是，我们观察到通常由显式控制器实现的复杂搜索行为，会从智能体的推理过程中自然涌现。