用户评论作为可用性需求的来源：使用 大语言模型 的前驱研究

众所周知，以用户为中心的需求工程方法通常会为最终用户带来更适合的产品。 LLM4RE 提供了有前途的方法来支持需求获取过程（例如需求分类）。以前的方法侧重于机器学习（ML）或深度学习（DL）方面，这需要使用大量手动标记数据进行强化训练。另一方面，LLM 经过大量用户生成的文本数据的预训练，从而实现以用户为中心的工作流程来分析需求。在本文中，我们探讨了利用 LLM 改进的自然语言理解（而不是严格的 ML 分类）的可能性，以及大量提取用户评论来分析 LLM 在理解用户评论方面的性能是否与人类评分者的性能相当。这为开发团队提供了快速、廉价的工作流程来收集和处理用户的需求。本文提供了三个主要贡献：（1）我们提供了一个包含 300 条用户评论的完整编码数据集，其中包含来自三种不同类型的应用程序的可用性相关方面，这些评论由两名人类评分者和 LLM 进行标记。 (2) 我们基于两次提示工程迭代和专门开发的源自 10 个尼尔森可用性启发法的编码指南，为 LLM 构建了一个初始提示，以过滤与可用性相关的用户评论。 (3) 我们确定 LLM 在用户评论中通常能够根据其 F 分数将可用性识别为非功能性需求，但性能和可靠性强烈依赖于提示。