跨不同 微调 策略和模型规模的 LLM 归因分析，以实现自动化代码合规性

针对自动化代码合规性的 大语言模型 (LLM) 的现有研究主要集中在性能上，将模型视为黑匣子，并忽略训练决策如何影响其解释行为。本文通过采用基于扰动的归因分析来比较 LLM 在不同 微调 策略（例如完整 微调 (FFT)、低秩适应 (LoRA) 和量化 LoRA 微调）的解释行为，以及包括不同 LLM 参数的模型规模的影响，从而解决了这一差距尺寸。我们的结果表明，FFT 产生的归因模式与参数高效的 微调 方法相比，在统计上有所不同，并且更加集中。此外，我们发现，随着模型规模的增加，LLM 会制定特定的解释策略，例如优先考虑构建文本中的数字约束和规则标识符，尽管对于大于 7B 的模型，生成的和参考计算机可处理规则的语义相似性性能有所提高。本文提供了对这些模型的可解释性的重要见解，为建筑、工程和施工行业中基于法规的关键任务构建更加透明的 LLM 迈出了一步。