论文
集成崩溃报告挖掘和 LLM 以进行错误定位和修复:行业报告
Integrating Crash Report Mining and LLMs for Bug Localization and Repair: An Industrial Report
摘要
分析大型工业软件系统中的崩溃报告错误需要大量的维护工作,特别是在生产环境中,开发人员必须处理大量崩溃报告和源代码工件以定位和修复其根本原因。虽然最近的研究表明 大语言模型 (LLM) 可以协助完成维护任务,但人们对其在支持开发人员分析崩溃报告错误和修复与工业环境中的崩溃报告组相关的错误方面的有效性知之甚少。为了解决这一差距,我们研究了将崩溃报告挖掘技术(特别是堆栈跟踪聚类以及可疑文件和方法排名)与 LLM 集成是否可以支持生产环境中的崩溃定位和修复。我们对四种提示配置下的五个 LLM 进行了回顾性评估。之后,我们选择了最佳模型来运行从两个大型 Java 企业系统收集的 38 个崩溃错误。我们进一步分析 LLM 生成的响应的结构特征和解释模式,并通过手动验证评估定位和修复有效性。我们的结果表明,性能最佳的配置可定位高达 71%,并正确修复完整数据集上 52% 的崩溃错误。这些发现提供了经验证据,表明将崩溃报告挖掘与基于 LLM 的修复相结合可以有效支持工业维护工作流程中的调试活动。