LLM 能否产生比人工开发更好的面向对象设计？

背景：大语言模型 (LLM) 越来越多地用于代码生成。然而，它们生成需要面向对象设计（OOD）的多类项目的能力仍不清楚，特别是相对于人类参与开发的项目。目的：本研究的主要目的是比较三种作者条件下项目的 OOD 质量：PreAI（在 LLM 广泛使用之前产生的人类参与项目）、PostAI（在 LLM 广泛使用之后产生的人类参与项目）和 PureAI（由当代 LLM 端到端生成的项目）。方法：我们对研究生 Java 作业进行了比较案例研究。选择同一任务的两个产品作为 PreAI 和 PostAI 数据集。 PureAI 项目是使用三个当代 LLM 生成的。我们使用项目级 OOD 指标、代码气味密度和领域建模来分析 OOD 质量。结果：相对于人类参与的项目，PureAI 项目表现出较低的代码气味密度，并且在总规模、复杂性和耦合方面通常显得更简单。然而，这与过度简化是一致的，因为它与抽象缺失和责任分离较弱有关。在许多 OOD 指标上，PostAI 比 PreAI 更接近 PureAI，并且也表现出过度简化的倾向。结论：我们的研究结果表明，当 LLM 用于面向对象设计时，对面向对象分解和责任分配的适当的人类指导仍然很重要。