论文

基于 LLM 的单元测试生成的知识引导综合错误反馈

Knowledge-Guided Synthetic Bug Feedback for LLM-Based Unit Test Generation

摘要

大语言模型 (LLM) 为单元测试生成提供了新的机会,但可执行测试不一定能揭示真正的缺陷。本文研究了如何将历史真实错误机制转化为基于 LLM 的单元测试生成的可执行反馈目标。所提出的框架构建真实错误记录的结构和语义表示,检索适用于焦点方法的机制,并将它们实例化为指导迭代测试增强的合成错误。我们评估了 Defects4J 方法级真实错误检测任务的方法,并表明机制引导的合成错误反馈比基于执行、覆盖、突变、知识和搜索的基线改进了真实错误检测。结果表明,将真实错误机制组织为可检索和可执行的反馈目标是引导生成的测试转向错误触发输入和行为预言的有效方法。