论文
README.md 生成中代理复杂性的幻觉:评估单代理与多代理 RAG 系统
The Illusion of Agentic Complexity in README.md Generation: Evaluating Single-Agent vs. Multi-Agent RAG Systems
摘要
大语言模型 (LLM) 越来越多地用于自动化多项软件工程任务,包括代码完成、代码摘要、测试和存储库级文档的生成。虽然在任务分解提高性能的前提下,通常采用多代理系统(MAS)来支持此类任务,但架构复杂性对实际效率的影响仍未得到充分研究。本研究根据经验评估了用于生成 GitHub 存储库 README 文件的检索增强生成 (RAG) 相关架构。在这项工作中,我们对单代理管道、专门的 MAS 和开发人员指导的规划 (DevPlan) 变体进行了系统比较,以 LARCH(最先进的基线)和原始 真值 为基准。结果表明了一个关键的架构权衡:单代理管道实现了与 MAS 相当的词汇质量,同时减少了 86% 的词元消耗并以两倍的速度运行。相比之下,手动分类分析表明 MAS 实现了较高的结构一致性 (98%),解决了单代理方法中观察到的格式问题。自主规划被认为是主要的管道瓶颈;合并轻量级开发人员指导计划可产生最高的整体文档质量,超越所有分析的配置。