使用 大语言模型 和提示工程进行常规提交分类

传统提交提供了用于编写提交消息的结构化格式，这提高了可读性、软件维护性，并启用了变更日志生成器和语义版本控制系统等自动化工具。传统提交分类的现有方法通常依赖于在大型标记数据集上训练的 ML/DL 模型。在本文中，我们通过即时工程利用 大语言模型 (LLM) 研究了 无需训练 替代方案。我们没有构建特定于任务的分类器，而是评估了三种不同规模的开源 LLM 的三种提示策略，例如零样本、少样本和思维链：Mistral-7B-Instruct、LLaMA-3-8B 和 DeepSeek-R1-32B。直接对从 InfluxDB 存储库中挖掘的 3,200 个提交的平衡数据集中提取的代码差异进行分类，无需任何模型 微调。我们的结果表明，几次提示始终能够达到最高的准确率，而思想链提示不会为该分类任务带来额外的收益。在评估的模型中，DeepSeek-R1-32B 实现了最强的整体性能，这表明模型规模在传统提交分类中发挥着有意义的作用。这些发现为寻求自动化提交分类的研究人员和从业者提供了实用指导，而无需管理和维护标记的训练数据的开销。