将LLM推理蒸馏为概念预测器图

摘要

部署大语言模型（LLM）执行判别式工作负载常受推理延迟、计算与规模化API成本的限制。主动蒸馏通过查询LLM预言机来训练紧凑的判别式学生模型，从而降低这些成本，但多数流水线只蒸馏最终标签，丢弃了中间推理信号，并且对缺少何种推理、错误在何处产生所能提供的诊断有限。我们提出Graph of Concept Predictors（GCP），一个推理感知的主动蒸馏框架，它将教师的决策过程外化为有向无环图，并在学生模型中用模块化的概念预测器予以映射。GCP通过一种图感知的采集策略提升样本效率，该策略瞄准关键推理节点上的不确定性与分歧。此外，它通过执行针对性的子模块重训来提升训练稳定性与效率，该机制将下游损失归因到特定的概念预测器，并只更新影响最大的模块。在八个NLP分类基准上的实验表明，GCP在有限标注预算下提升了性能，同时带来更可解释、更可控的训练动态。代码发布于：https://github.com/Ziyang-Yu/GCP。

将LLM推理蒸馏为概念预测器图 — 图2：我们提出的 GCP 框架概览（循环视图）。左下方部分展示概念级推理，其中未标注输入由学习到的 Graph of Concept Predictors 处理，该图结构显式建模概念之间的依赖关系。顶部部分展示图感知的采集（acquisition），其中结构加权不确定性、拓扑感知梯度多样性和图感知代表性被联合评估，并通过共识选择加以组合，从而为 LLM 标注识别信息量大的样本。右下方部分描绘子模块重训练，其中对 GCP 进行反事实重跑，将误差归因到各个概念预测器，从而实现对高影响子模块的针对性重训练，以获得更高效的学习。