论文
从错误到规则:文本分类的迭代提示优化
From Errors to Rules: Iterative Prompt Optimization for Text Classification
摘要
文本分类的提示优化横跨多样方法:从示范选择到基于探索的搜索再到错误驱动的诊断,各有已知但刻画不完全的优劣。我们在多样分类基准(2到150类)上开展综合实证研究,经量化评估与优化轨迹的定性分析比较这些范式,揭示每种范式在结构不同的任务类型上各有所长、没有任何单一方法占优。受这些洞见引导,我们提出错误引导优化(ERGO):一种错误驱动方法,以不重叠批次迭代全集、诊断分类失败、并经诊断—开方—重写反馈循环生成定向决策规则。ERGO在错误集中于特定混淆标签对的任务(我们称之为边界可学习任务)上取得最佳准确率:TREC 90.0%、CLINC150 94.4%,3–5轮内收敛,并产出可解释的决策规则。ERGO虽未取得最高总平均,但承担互补角色:示范式ICL在覆盖依赖任务上胜出,探索式搜索在多类意图上胜出,而ERGO在决策边界可从错误模式学习的任务上胜出。我们提供把任务特征与最优范式选择相连的互补性框架,为从业者提供实践指导。
