NeuronSpark：具有选择性状态空间动力学的脉冲神经网络语言模型

摘要

我们探究纯脉冲网络骨干能否在没有Transformer蒸馏的情况下，从随机初始化学习大规模语言建模。我们提出NeuronSpark，一个采用下一词预测与代理梯度训练的0.9B参数脉冲神经网络（SNN）语言模型。该模型结合了选择性状态空间脉冲动力学、漏电流层间通信、PonderNet自适应时间步、融合的Triton PLIF核，以及稳定化技术（残差中心化、侧抑制归一化和自然梯度补偿）。在受限预算下（约1.4B预训练token和6.5K步SFT），NeuronSpark-0.9B达到3.6的预训练损失，并在SFT后表现出初期的多轮对话行为。这些结果支持了纯SNN架构在该规模下进行端到端语言建模的可行性。

NeuronSpark：具有选择性状态空间动力学的脉冲神经网络语言模型：论文配图 — 图 1：NeuronSpark 架构概述。残差流携带连续值𝐡\mathbf{h}； PLIFLeak 表示具有泄漏激活 (1−β)⋅Vpost(1-\beta)\cdot V_{\text{post}} 的 PLIF 神经元。 PonderNet 聚合（应用于每个子层）使用学习的几何分布权重来折叠每个token的 KK 帧。层间通信采用浮点漏电流信号；二进制尖峰是内部触发事件，而不是默认的层到层表示。解码阶段使用统一的KK帧均值。在每次残差加法之前应用残差居中（减去每个token的平均值）。