微调之前先查找：针对网络安全 QA 的小型 LLM 诊断研究

大语言模型 (LLM) 越来越针对关键领域问答 (QA) 进行微调，但在支付适应成本之前选择适应哪个小模型仍然很困难。 微调 可以改善领域对齐，但它也可能会侵蚀先验知识、削弱指令遵循或增加幻觉，特别是当标记数据稀缺或快速发展（如网络安全）时。我们提出了 FiT（Find before Fine-Tune），这是一种面向任务的诊断框架，其特征是小型 LLM 以及网络安全 QA 所需的三种功能：词汇识别、参数知识和检索信息的上下文化。使用 FiT，我们对两种 微调 制度下的五个开放权重 70 亿参数模型进行了实证研究。我们发现 微调 并不总是有帮助：它持续降低小模型中的词汇量和参数知识，并且两种机制的权衡方式不同。以知识为中心的调整会导致适度的、保持排名的退化，而以指令为中心的调整会通过诱导弃权来破坏测量的知识，颠倒知识排名，同时使基于检索的情境化基本完好无损。我们通过排名相关分析来量化这些特定于制度的模式，并表明 微调 FiT 分数预测了调整后变化的方向。我们的结果表明，面向任务的诊断可以筛选出不合适的模型，避免不必要的 微调，并支持在网络安全 QA 管道中更安全地部署小型 LLM。