论文

通过 大语言模型 研究 Metamorphic Fuzz Oracle 增强

Investigating Metamorphic Fuzz Oracle Enhancement via Large Language Models

摘要

模糊驱动程序是灰盒模糊测试的重要组成部分,因为它们封装目标接口、定义测试空间并在很大程度上决定模糊测试的有效性。现有的模糊驱动程序通常依赖于基于崩溃的预言机进行安全测试,忽略了库功能并限制了错误检测能力。在本文中,我们提出了第一个关于基于变质的模糊预言增强(MFOE)的研究,它通过从变质关系(MR)派生的基于变质的预言来增强现有的模糊驱动程序。由于构建和集成此类预言机需要大量的领域知识,因此自动化 MFOE 具有挑战性。为了应对这一挑战,我们提出了 MetaFOE,这是一个基于 LLM 的框架,可以自动生成和集成基于变质的预言机。我们使用三种现代 LLM 和五种提示策略来评估 OSS-Fuzz 驱动程序上的 MetaFOE。 MetaFOE 生成 3,475 个 MR,其中 77.3% 适用,并实现 12,351 个元驱动程序,其中 6,228 个有效。经过三个小时的模糊测试,有效的元驱动程序将边缘覆盖率平均提高了 18.7%,并触发了 1,​​528 次独特的崩溃。我们的结果证明了基于变质的预言机增强的有效性以及使用 LLM 自动化 MFOE 的可行性,为推进灰盒模糊测试提供了宝贵的见解。