论文

BioDefect:第一个用于生物信息学软件缺陷检测的数据集

BioDefect: The First Dataset for Defect Detection in Bioinformatics Software

模型评测基准与评测资源

摘要

软件缺陷检测是软件工程中的一项关键任务。然而,之前没有研究专门解决生物信息学软件中的缺陷检测。鉴于缺陷检测任务的性能主要受到模型和数据集的影响,我们的实验控制了模型相关因素,并证实了生物信息学软件中现有数据集的局限性。为了解决这个问题,我们引入了 BioDefect,这是第一个专门为生物信息学软件中的缺陷检测而设计的数据集,旨在克服现有数据集在这方面的局限性。与之前的数据集不同,BioDefect 包含完整的源代码存储库,保留有缺陷代码的实际上下文信息,从而更准确地反映生物信息学软件中的真实缺陷场景。此外,BioDefect 还可以缓解与标签不一致和数据泄漏相关的问题,确保高数据质量和实验可靠性。为了评估 BioDefect 的有效性,我们对包括 DeepSeek-R1 在内的九种语言模型 (LM) 进行了系统评估。结果表明,BioDefect 显着增强了生物信息学软件的缺陷检测性能。与现有数据集相比,BioDefect 所有模型的平均 F1 分数提高了 29.61% 至 38.04%,凸显了其卓越的优势。该研究填补了生物信息学软件缺陷检测的关键研究空白,为该领域的未来研究奠定了基础,并为提高生物信息学软件质量保证提供了新的见解。