BT-APE：一种用于需求分类的自动提示工程的轻计算回溯方法

大语言模型 (LLM) 越来越多地应用于需求工程 (RE) 任务，但指导它们的提示通常是通过反复试验手动设计的，会产生不一致且次优的结果。在 RE 中，自动化即时构建在很大程度上仍未得到探索，其有效性尚不清楚。为了解决这个问题，我们提出了一种轻量级的自动提示工程方法，即回溯 APE (BT-APE)，并将其应用于需求分类。我们将提示设计框架为优化问题，通过 LLM 生成的候选、回溯搜索和动态示例选择迭代地细化提示。使用五个指令调整的 LLM 在三个基准数据集上评估 BT-APE，我们将其与四个经典提示基线（零样本、少样本、思维链、CoT+少样本）和最先进但资源密集型的 APE 基线 (PE2) 进行比较。 BT-APE 和 PE2 实现了几乎相同的精度，两者都大大优于具有大效应量的经典基线；然而，BT-APE 的计算占用量要小得多，在同等精度下消耗的输入词元大约减少 72%，挂钟时间减少 66%，使其更适合资源受限的部署。我们的贡献有三个方面：(i) 具有开放式交互工具和复制包的轻量级 APE 框架； (ii) APE 与需求分类的经典提示的首次系统比较； (iii) 深入了解类别定义和即时演化如何影响性能。