DLink：从 EEG 基础模型中提取分层和主导知识

EEG基础模型（EFM）通过大规模预训练和下游微调实现了强大的跨学科和跨任务泛化。通过实证分析，我们观察到（i）任务适应的 EFM 提供了强大的解码性能，但在保留作为推理主干时会产生大量开销，这使得 知识蒸馏 成为优化紧凑型学生的自然途径； (ii) 来自固定教师表示的直接 蒸馏 未充分利用 EFM 知识，因为任务区分信息分布在中间层而不是集中在最终层。这些观察结果激发了 DLink（分层和主导知识的提取），这是一个光谱引导的 蒸馏 框架，具有输入条件层路由，用于将 EFM 知识转移到紧凑的学生中。 DLink 使用轻量级路由器聚合每个输入的教师层，并对齐幅度谱和相位谱，以减轻学习表示中压缩引起的谱失真。路由的教师知识被项目压缩的学生内化；教师和路由器仅在训练期间使用。对四个 EEG 基准的实验表明，DLink 改进了匹配的紧凑型学生，并与轻量级基线保持竞争力，缩小了与微调 EFM 的差距，同时大幅减少参数、FLOP 和仅 CPU 推理延迟。