需求工程中的大模型目标抽取：提示策略与局限

由于许多需求工程 (RE) 工件的文本和重复性质，大语言模型 (LLM) 已被证明对于自动化其生成和处理非常有用。在本文中，我们讨论了一种可能的方法，通过三个阶段从软件文档中提取功能目标，从而实现面向目标的需求工程（GORE）过程的自动化：参与者识别、上层和下层目标提取。为了实现这些功能，我们提出了一个带有工程提示的 LLM 链。我们尝试了上下文学习的不同变体，并测量了输入数据和上下文示例之间的相似性，以更好地研究它们的影响。另一个关键要素是生成批评机制，它实现为涉及两个 LLM 的反馈循环。尽管该管道在最后阶段的下层目标识别中实现了 61% 的准确率，但这些结果表明该方法最适合作为加速手动提取的工具，而不是作为完全替代。零样本的反馈循环机制优于独立的少样本，消融研究表明，如果没有反馈循环，性能会略有下降。然而，我们报告说，反馈机制与 Few-shot 的结合并没有带来任何优势，这可能表明主要的性能上限是应用于“评判器”LLM 的提示策略。随着示例数量和质量的完善，未来的研究将整合检索增强生成（RAG）和思想链（CoT）提示以提高准确性。