论文

从错误到规则:文本分类的迭代提示优化

From Errors to Rules: Iterative Prompt Optimization for Text Classification

上下文与知识上下文工程

摘要

文本分类的提示优化横跨多样方法:从示范选择到基于探索的搜索再到错误驱动的诊断,各有已知但刻画不完全的优劣。我们在多样分类基准(2到150类)上开展综合实证研究,经量化评估与优化轨迹的定性分析比较这些范式,揭示每种范式在结构不同的任务类型上各有所长、没有任何单一方法占优。受这些洞见引导,我们提出错误引导优化(ERGO):一种错误驱动方法,以不重叠批次迭代全集、诊断分类失败、并经诊断—开方—重写反馈循环生成定向决策规则。ERGO在错误集中于特定混淆标签对的任务(我们称之为边界可学习任务)上取得最佳准确率:TREC 90.0%、CLINC150 94.4%,3–5轮内收敛,并产出可解释的决策规则。ERGO虽未取得最高总平均,但承担互补角色:示范式ICL在覆盖依赖任务上胜出,探索式搜索在多类意图上胜出,而ERGO在决策边界可从错误模式学习的任务上胜出。我们提供把任务特征与最优范式选择相连的互补性框架,为从业者提供实践指导。

从错误到规则:文本分类的迭代提示优化:论文配图
图 1:ERGO 概述。输入:种子提示 π0\pi_{0}、训练集 DtrainD_{\text{train}}、验证集 DvalD_{\text{val}} 和迭代预算 TT。训练数据被打乱一次,分成大小为 kk 的非重叠批次。循环(步骤 1-4):每次迭代选择下一批,使用当前提示对其进行分类,将预测划分为错误 EtE_{t} 和正确的 CtC_{t},然后应用诊断→\rightarrowprescribe→\rightarrowrewrite 元提示以生成更新的提示 πt\pi_{t}。步骤5:在DvalD_{\text{val}}上评估每个候选者;返回最佳验证提示 π*=arg⁡maxt⁡A⁡(πt)\pi^{*}=\arg\max_{t}A(\pi_{t})。