论文

GitReq:软件质量需求的专家验证数据集

GitReq: A Gold Standard Dataset for Software Quality Requirements

模型评测基准与评测资源

摘要

GitHub 问题跟踪器包含数百万个开发人员编写的质量问题,包括性能瓶颈和安全漏洞,但没有公开可用的 GitHub 数据集将这些问题分类为细粒度的软件质量类别。我们构建并发布了 GitReq GitHub 需求问题,其中包括从 4,080 个存储库中的 55,588 个原始 GitHub 候选者中挖掘的 6,302 个经过专家验证的需求,并标记为符合 ISO/IEC 25010:2011 的八个类别:性能、安全性、可移植性、可用性、容错性、可扩展性、可维护性和功能基线。数据集构建涉及特定类别的三信号 GitHub 挖掘、具有每个类别参数的单独的非功能需求 (NFR) 和功能需求 (FR) 预处理管道,以及实现大量注释者间一致性的专家人工注释(Fleiss 的 Kappa~=~0.72)。使用四个 大语言模型 (LLM) 进行的零样本评估建立了基线,GPT-5.2 达到了最高的宏观平均 F1 0.641。 GitReq 公开发布并提供完整材料,以推进自动化需求分类和软件质量分析的研究。