自动演化针对特定任务优化的提示指南

为了使 大语言模型 可靠地回答用户查询，用户必须明确指定需求、上下文和约束。然而，在实践中，用户查询通常未指定，迫使模型推断出可能与实际用户意图不一致的未声明的假设。现有的即时工程指南旨在缓解这个问题，它们通常是通用的且与任务无关，限制了它们的实际用途。此外，现有的指南是手动且非系统化的方式形成的。为此，我们研究提示指南优化：自动生成特定于任务的指南的问题，帮助为给定的任务和模型编写更好指定的提示。我们的主要观察结果是，现有的（已完成的）任务示例（也称为参考答案）通常隐式编码完成未指定查询所需的缺失信息，包括行为约束、上下文假设和评估标准。因此，我们提出 AGOPS，这是一种自动方法，通过优化方案制定特定于任务的指南，该方案涉及提示 LLM 编写器、求解器 LLM 和提示进化，从而最大限度地提高一组示例（带有参考答案的用户查询）的下游有效性。在推理时，我们的指南可帮助用户编写明确的提示，从而提高 LLM 的有效性。我们在数学推理、医学问答和编码任务中表明，提示指定不足会导致下游任务性能大幅下降（与明确指定的提示相比），而且也许更重要的是，这种下降很难通过现有的提示优化技术来恢复。遵循 AGOPS 指南的用户可以在所有基准测试中一致地挽回这一损失（平均性能提高 15.5% 至 81.7%）。