表征可读性问题模式以及提示设计在 LLM 生成的代码中的作用

大语言模型 (LLM) 正在日益改变代码的生成方式，但生成的代码仍然需要人工审查和验证才能适应或集成到实际项目中。这使得 LLM 生成的代码的可读性成为一个关键问题。现有的研究主要集中在 LLM 生成代码的功能正确性和任务完成上，留下了关于它是否可读、其可读性如何失败以及提示设计可以在多大程度上改进它的悬而未决的问题。因此，我们研究了 LLM 生成的代码的可读性。我们首先构建一个集成文本、结构、程序和视觉特征的可读性评估模型。使用该模型，我们将人类编写的代码与代表性前沿 LLM 生成的代码在源自代码世界 (WoC) 和 LeetCode 的 2,735 个场景中进行比较。我们使用主题分析进一步表征可读性问题模式，并通过受控提示变体实验检查提示设计关联。我们的结果表明，当前的 LLM 生成的代码在整体可读性方面可与人类编写的代码相媲美。然而，这种总体相似性掩盖了不同的问题模式，包括过度复杂性、冗余注释和未知的 API 使用情况。提示分析进一步表明，函数签名、约束和样式描述与代码可读性最密切相关，尽管提示设计的总体作用仍然有限。这些发现揭示了人工智能辅助编程中潜在的可读性债务，将提示设计确定为提高生成代码可读性的轻量级起点，并激发自动支持以检测和减轻未来开发工作流程中的可读性问题。