ReqGenX:遗留 SRS 文档的原子分解、工件再生和重建的实证研究
ReqGenX: An Empirical Study of Atomic Decomposition, Artifact Regeneration, and Reconstruction for Legacy SRS Documents
摘要
背景:评估自动化软件需求规范 (SRS) 生成具有挑战性,因为很少有数据集提供源需求、中间引出工件和生成的规范之间的细粒度可追溯性。目标:我们的目标是研究遗留 SRS 文档是否可以转换为可追踪的合成预 SRS 工件,以支持对基于 LLM 的 SRS 生成进行细粒度评估。方法:我们使用 ReqGenX 进行实证研究,ReqGenX 是一种受控管道,可将 SRS 部分分解为基于源的原子语句,通过多个 LLM 多数投票将原子路由到标准启发的工件类型,并使用约束提示和迭代判断引导细化来生成工件。我们使用基础、质量、信息保留和下游重建分析在七个 PURE SRS 文档上评估 ReqGenX。结果:ReqGenX 生成忠实且可用的原子,AlignScore 中值通常在 0.96 到 0.99 之间,Prometheus 分数在 4.34 到 4.85 之间。生成的工件仍然牢固地扎根于其源原子,AlignScore 值通常在 0.80--0.94 之间,判断通过率接近 100%;更严格的 Prometheus 评估通过率从 54.8% 提高到 97.1%。在下游 SRS 重建案例研究中,伪影支持的原子仍然可以从生成的 SRS 中恢复,SBERT 平均值在 0.69 到 0.75 之间,AlignScore 中位数在 0.76 到 0.84 之间。结论:可追踪的合成 pre-SRS 工件可以支持对基于 LLM 的 SRS 生成进行更细粒度的评估,同时暴露 忠实性、信息保留和工件完整性之间的权衡。