CommitSuite：提交分类和消息生成的综合基准

高质量的提交消息对于维护软件项目至关重要，但确保其一致性和信息性仍然是一个实际挑战。虽然传统提交规范（CCS）为提交消息提供了结构化格式，但由于缺乏大规模基准、语义注释和可靠的评估方法，基于 CCS 的提交分类和提交消息生成（CMG）的研究受到限制。在本文中，我们介绍了 CommitSuite，这是一个基准测试，包含来自 243 个开源存储库、跨七种编程语言的 63,533 个符合 CCS 的提交。每个提交都标有其 CCS 类型，并通过 AST 级代码更改进行丰富，以及 LLM 辅助语义注释，捕获更改背后的“内容”和“原因”。为了评估 CMG 系统，我们提出了一个基于五个二元指标的无参考框架：合理性、全面性、非冗余性、真实性和逻辑性，从而无需依赖人类编写的参考文献即可进行语义级评估。我们的实验表明，LLM 可以有效支持生成和评估，评估与人类判断的 Cohen Kappa 一致性达到 0.849。 CommitSuite 为结构化提交理解提供了统一的资源，并促进了对提交分类和生成的可重复研究。