重新思考尖峰语言模型中时间编码和非线性计算之间的权衡

尖峰语言模型面临着在短时间窗口上表示连续语义特征和保留昂贵的非线性注意操作之间的权衡。我们引入了 Spora，它联合设计了尖峰编码和注意力算子。二进制时间权重让 $T$ 尖峰代表具有高达 $T$ 位容量的成分值，而 $O(\log_2 T)$ 位用于尖峰计数读出。单极二进制尖峰 (UBS) 使用阈值和尖峰触发的残差衰减来生成非负整数代码；双极二元尖峰 (BBS) 将符号和幅度分开，并学习符号激活的尺度。这些表示支持注意力中的累积和移位点积和整数指数映射。通过四个时间步长，Spora 的平均 GLUE 得分为 76.6，CoLA MCC 为 44.1，分别比 SpikeLM 提高了 1.2 和 6.2 分。将 BBS 扩展至 6 个步骤可将这些分数提高到 78.2 和 47.4。条件衰减分析、匹配预算激活量化比较、事件工作负载统计和定点评估 描述编码保真度和计算成本之间的联系。