论文

SelfHeal:LLM 代理中的经验修复模式分析和错误修复

SelfHeal: Empirical Fix Pattern Analysis and Bug Repair in LLM Agents

摘要

大语言模型 (LLM) 改变了软件开发和人工智能应用。虽然 LLM 专为文本处理而设计,但 LLM 代理通过启用自主操作、工具使用和多步骤任务完成来扩展此功能。随着该领域的发展,开发人员在调试这些复杂系统时面临着新的挑战。为了应对这一挑战,我们首次对 LLM 代理中的错误修复模式进行了实证研究。我们研究来自三个平台的错误帖子和代码片段:Stack Overflow、GitHub 和 HuggingFace 论坛。我们检查他们的修复模式、应用修复的组件以及涉及的编程语言和框架。此外,我们还引入了 AgentDefect,这是 LLM 代理中错误的第一个基准数据集。该数据集包含 37 个运行时错误实例以及固定代码和测试文件。最后,我们介绍 SelfHeal,一个多代理系统,旨在修复 LLM 代理中的错误。该系统利用两个独立的 ReAct 代理:修复代理和批评代理。这些代理使用提供内部知识(修复规则)和外部知识(网络搜索)的工具来提出和验证修复。我们的评估表明,以 Gemini 3 Pro 为骨干的 SelfHeal LLM 的性能显着优于基准方法和最先进的方法。