论文

通过运行时值反馈完善基于 LLM 的定向测试输入生成

Refining LLM-based Directed Test Input Generation via Runtime Value Feedback

智能体系统Agent 架构与控制循环

摘要

基于 LLM 的定向输入生成技术在生成达到目标的测试输入方面显示出良好的有效性。然而,由于可用代码信息的限制和 LLM 推理固有的不可预测性,可靠的定向输入生成需要机制来将过程建立在观察到的运行时行为的基础上。我们提出了 ReDig,一个运行时反馈引导的细化框架,它在基于 LLM 的定向测试输入生成技术周围添加了一个控制循环,以使用在先前目标缺失测试执行中观察到的运行时值来细化定向输入生成。在 Poppler 和 Libsndfile 的案例研究中,我们发现 ReDig 有效地导出运行时值反馈来诊断之前的测试脚本未能达到目标行的原因,并且还有效地利用给定的运行时值反馈来细化后续步骤中的测试脚本。