论文

LabelMate:LLM 驱动的细化问题报告标签框架

LabelMate: An LLM-Driven Framework for Refined Issue Report Labeling

摘要

软件用户经常向产品的问题跟踪系统提交问题报告,以报告缺陷、建议增强功能或提出其他与产品相关的问题。标记这些问题报告可支持有效的规划并提高社区参与度。然而,由于设计适当的标签分类法,然后从该分类法向新问题报告分配合适的标签,需要大量的手动工作,因此许多问题报告仍然没有标签。现有的自动标记方法试图缓解这些挑战。然而,它们面临着关键的限制,例如大量的人工干预、通用标签的分配以及对现有标记数据集的依赖。为了解决这些限制,我们提出了 LabelMate,这是一种新颖的 大语言模型 (LLM) 驱动框架,它 (1) 从历史问题报告中派生出全面的、特定于项目的标签集,(2) 自动将相关标签分配给新问题报告,而不需要任何预先标记的训练数据。我们根据来自 30 个流行且多样化的 GitHub 存储库的 16,500 份问题报告来评估 LabelMate。基于此数据集,我们的方法生成了包含 275 个标签的连贯列表,并实现了 89.84% 的平均标记准确度,这比现有的通用标签分配方法在统计上有显着改进。这些结果表明,LabelMate 提供了一种高效的、领域自适应的解决方案来简化问题标记流程。