GHOST：通过分组隐状态输出感知选择与截断揭示Mamba2中的幻影状态

摘要

尽管Mamba2扩大的状态维度增强了时间建模能力，却也带来可观的推理开销，使带宽在自回归生成期间趋于饱和。标准剪枝方法无法解决这一瓶颈：非结构化稀疏使激活保持稠密，基于幅度的选择忽略运行时动态，而基于梯度的方法代价高昂得令人却步。我们提出GHOST（Grouped Hidden-state Output-aware Selection and Truncation），一个仅利用前向传播统计量来逼近控制论平衡截断的结构化剪枝框架。通过联合度量可控性与可观测性，GHOST无需反向传播即可媲美基于梯度方法的保真度。作为亮点，在参数量从130M到2.7B的模型上，我们的方法在WikiText-2上以约1个困惑度点的增加实现了50%的状态维度削减。代码见https://anonymous.4open.science/r/mamba2_ghost-7BCB/。

GHOST：通过分组隐状态输出感知选择与截断揭示Mamba2中的幻影状态 — 图2：带 GHOST 的 Mamba2 前向传播概览。输入 u t ′ u^{\prime}_{t} 被投影为中间变量（子图 1.）和离散化参数（子图 2.），用以更新隐藏状态 𝑯 t , h \bm{H}_{t,h}（子图 3.）并计算最终 SSM 输出 𝒚 t , h SSM \bm{y}^{\text{SSM}}_{t,h}（子图 4.）。与此同时，GHOST 机制计算得分 𝑺 t ( g ) \bm{S}_{t}^{(g)} 并应用排序和阈值化，生成在初始投影中引入稀疏性的二元掩码 𝒎 ∈ ℝ G ⋅ N \bm{m}\in\mathbb{R}^{G\cdot N}（子图 5.）。