iPOE：通过解释进行可解释的提示优化

提示优化通常被视为离散搜索问题，旨在为 大语言模型 (LLM) 找到高性能且稳健的指令。但是，搜索结果可能无法清楚地说明特定提示更改为何以及在何处会导致性能提升。这与指导人类执行注释任务的方式形成鲜明对比。在这里，研究人员精心设计注释指南，从而增强注释一致性。我们的论文旨在将这两种方法结合起来，并通过解释介绍了 iPOE，一种新颖的可解释提示优化策略。我们通过根据注释决策的解释（自动生成或人工生成）自动创建指南来指导即时优化过程。这套准则还通过一系列操作进一步优化，包括删除、添加、洗牌和合并。生成的提示包括指导注释的指南，使 LLM 的决策过程和优化透明。因此，它也支持外行人员进行即时优化。在我们对四个数据集的实验中，我们发现 iPOE 可以比评估的基线提高高达 39%，并且 LLM 解释可以取代所提出方法中的人类解释。此外，我们的可解释性验证研究表明，人类和 LLM 在哪些指南有助于其注释方面基本一致，在情感分类、医学事实检查和仇恨言论检测任务中，注释者和 LLM 之间的 Cohen kappa 分数分别高达 0.68、0.80 和 0.95。