论文

研究通过手动和自动代码审查建议的质量改进

Studying Quality Improvements Recommended via Manual and Automated Code Review

模型评测模型行为与机制分析

摘要

已经提出了几种基于深度学习 (DL) 的技术来自动化代码审查。尽管如此,目前还不清楚这些方法在多大程度上可以作为人类审阅者提出质量改进建议。我们研究了人类执行的代码审查与深度学习模型自动生成的代码审查之间的异同,并使用 ChatGPT-4 作为后者的代表。特别是,我们进行了一项基于挖掘的研究,其中我们收集并手动检查人类审阅者发布的 739 条评论,以建议对 240 个 PR 中的代码进行更改。手动检查的目的是对人工审核员推荐的质量改进类型进行分类(例如,重命名变量/常量)。然后,我们要求 ChatGPT 对相同的 PR 执行代码审查,并将其建议的质量改进与人工审查者建议的质量改进进行比较。我们发现,虽然平均而言,与人类审阅者相比,ChatGPT 倾向于建议更多的代码更改(大约多出 2.4 倍),但它只能发现人类报告的 10% 的质量问题。然而,LLM 生成的附加评论中约有 40% 指出了有意义的质量问题。简而言之,我们的研究结果表明了手动和基于人工智能的代码审查的互补性。这一发现表明,在目前的状态下,基于深度学习的代码审查可以用作人类执行的质量检查之外的进一步质量检查,但不应被视为其有效替代方案,也不应被视为节省代码审查时间的手段,因为人类审查者仍然需要执行手动检查,同时还要验证基于深度学习的技术报告的质量问题。