论文
超越数字输入的边界值探索的自适应策略生成
Adaptive Strategy Generation for Boundary Value Exploration Beyond Numeric Inputs
摘要
软件行为通常在输入区域之间的边界处突然改变,并且这些转换容易出错。边界值探索 (BVE) 通过搜索但会触发不同程序行为的相似输入对来自动进行边界发现。现有的自动化 BVE 技术依赖于为每种输入类型,甚至为每个被测试的函数手工设计的变异算子,这限制了它们对数字输入的使用。我们提出了 ABEX,一个基于 LLM 的代理框架,用自适应策略生成取代算子工程:专门的 LLM 代理在执行反馈和质量多样性(QD)档案的指导下提出、选择和执行边界探索策略。由于策略是用自然语言表达的,因此它们可以编码类型级别和功能特定的知识,有效的策略甚至可以存储和重用。我们在黑盒设置中对 20 个具有数字、字符串、数组和混合输入的函数进行评估。在数值函数上,ABEX 在 11 个函数中的 10 个上优于最先进的 QD 方法,平均 QD 分数高出 11.7 倍。在非数字函数上,ABEX 首次在自动黑盒 BVE 中解决,发现了所有主题的域对齐边界行为。突变测试表明,所发现的边界能够揭示错误:在同等大小的测试套件中,ABEX 的平均突变得分为 86.2%,而 QD 基线为 61.9%,并且杀死的难以检测的顽固突变体数量是其 9 倍。一项消融研究将适应性策略的生成确定为这些收益的主要驱动力。