论文
平衡实用性和自然性:基于 LLM 的代码审查评论管理管道
Balancing Usefulness and Naturalness: An LLM-based Curation Pipeline for Code Review Comments
摘要
代码审查是软件开发的基石,审查者通过书面评论提供反馈,以确保代码质量、可维护性和正确性。这一过程的有效性取决于评审意见的质量。随着 大语言模型 (LLM) 在自动化代码审查任务中获得关注,这些系统的实用性直接受到训练数据集质量的限制。不幸的是,现有的代码审查数据集通常充满噪音、不一致或结构不良,这阻碍了 LLM 学习生成准确、有用且类似于人类的审查评论的能力。为了克服这些限制,我们提出了两种不同的管理管道,旨在提高大规模代码审查数据集的质量和实用性。在第一个管道中,所有审稿意见均由 LLM 系统地重新表述,以提高其清晰度、简洁性和礼貌性,同时保留其语义意图。这种方法产生的精选数据集称为 CuREV,提供更清晰、更高质量且更易于学习的注释,从而显着改进下游自动化任务,即审核注释生成和代码细化。在此基础上,我们提出了一个以高质量范例为指导的改进流程,以增强策划评审意见的现实性和多样性。该方法首先根据使用评估框架的系统质量评估,将数据集分为高质量和低质量评论。高质量评论以其原始形式保留,并进一步用作上下文范例,以激发低质量评论的重新表述。通过改变所提供的范例,重新表述的评论不仅更加清晰、更具可操作性,而且展示了更广泛的写作风格,使它们更加现实和人性化。