用小语言模型解析机器学习代码流程结构

背景：一旦定义了构建机器学习 (ML) 管道的阶段分类（例如数据预处理、建模...），从源代码中提取这些阶段是更好地理解 ML 实践的关键。然而，机器学习的不断发展（例如算法、数据集）带来的多样性使得这项任务具有挑战性。现有方法要么依赖于不可扩展的手动标记，要么依赖于不能正确支持域多样性的分类器。这些限制需要更可靠的解决方案。目标：我们评估小语言模型 (SLM) 是否可以利用其代码理解和分类能力来解决这些限制，并增强我们对 ML 实践的理解。方法：我们根据代表当前最新技术局限性的两篇相关参考文献进行了验证性研究。我们首先使用 Cochran 的 Q 检验比较几个 SLM，然后通过两个 McNemar 的检验根据参考研究评估性能最佳的模型。额外的 Cochran's Q 检验检查分类定义变化如何影响 SLM 表现。最后，拟合优度测试将 SLM 分类的 ML 实践见解与之前的研究进行比较。结果：首先，我们发现分类措辞显着影响分类性能。其次，性能最好的 SLM 产生了良好的结果，但没有优于其他分类器。第三，在探索数据科学家的实践时，这三种分类方法导致了显着不同的见解，且效果大小各异。结论：现有分类方法的局限性影响了我们对机器学习实践的理解。虽然当前的 SLM 在没有事先微调的情况下显示出有希望的结果，但它们仍然表现出共同的局限性，此外，推断高成本挑战了它们在大规模研究中的适用性。