SAGE：通过代理引导探索进行随机提示优化

上下文工程已成为在无需更新参数的情况下改进人工智能系统的主要杠杆。最近的研究表明，文本渐变并不像真正的渐变那样起作用，这促使我们将自动提示优化（APO）视为黑盒搜索。我们介绍了 SPO（随机提示优化），这是一种在提示空间上进行随机搜索的框架，并比较了三种提高复杂性的策略：错误通知随机搜索、具有进化运算符的遗传算法和 SAGE（通过代理引导探索的 SPO），一种具有诊断代码执行功能的多代理管道。在三个基准测试中，没有单一策略占主导地位；有效性取决于景观结构与错误类型的相互作用。我们在持续优化范例下进一步将 SAGE 部署在心理健康聊天机器人上，它将八个周期的单独噪音 A/B 测试组合成统计上稳健的第二天保留率增益。我们认为，将定性诊断与定量验证相结合使得代理优化对于开放式的面向任务的对话有效。