MO-CAPO：多目标成本感知提示优化

大语言模型 (LLM) 在广泛的任务中实现了强大的性能，但对提示设计高度敏感，激发了对自动提示优化的需求。现有方法主要只关注性能，忽略推理成本或延迟等竞争目标。同时，现有的多目标提示优化工作依赖于现成的NSGA-II，忽略了优化效率。作为补救措施，我们引入了 MO-CAPO，这是一种新颖的多目标提示优化算法，可联合优化性能和推理成本，同时利用预算分配进行经济高效的优化。我们进一步提出了一个面向部署的成本目标，该目标捕获 LLM 推理的完整计算概况。我们评估了四个任务和三个 LLM 的方法，并将其与基于 NSGA-II 的多目标方法和最先进的单目标提示优化器进行比较。结果表明，MO-CAPO 始终能够识别出强大、鲁棒且多样化的 Pareto 前沿近似，同时保持成本效率。就噪声 R2 指标而言，它在 12 个案例中的 8 个案例中优于 NSGA-II 基线，并且通常已经以相当低的预算实现了具有竞争力的性能。所发现的解决方案集涵盖了单目标优化器忽略的各种性能成本权衡，但顶级性能候选解决方案仍然具有与单目标解决方案的竞争力。此外，我们对多目标机器学习实验进行了首次评估，通过噪声 R2 和近似间隙考虑泛化性和鲁棒性，从而能够更现实地评估解决方案质量。 MO-CAPO 使从业者能够从一组有效发现的多个提示中进行选择，从而在性能和成本之间提供不同的权衡。