通过反足分离对分离的无偏 GLU 前馈块进行密码分析提取

密码分析提取已在 ReLU 网络、使用 GELU 或 SiLU 等组件激活的网络以及 Transformer 的最终投影矩阵中得到验证。这些方法无法恢复许多现代语言模型中使用的无偏差门控线性单元 (GLU) 前馈块。这样的块将激活的线性投影乘以每个隐藏单元内的第二学习线性投影，网络类中不存在双分支结构，并且这些方法解决了最终层设置。我们为孤立的无偏差 GLU 块提供了一个建设性的、多阶段的前向查询恢复原语。有限差分曲率提供门方向候选，并且在 x 和 -x 处的成对观测单独门幅度、方向和值分支耦合。在高精度目标上，六个 Qwen 层、一个 8,192 个单元的 Llama 子问题和一个全维 Gemma 块都达到了低于百分之一的中值验证误差。四种有限精度配置的中值误差仍低于 5%，但没有一种配置可以再现每个存储的重量。这些孤立块实验不是端到端模型 API 攻击：从最终模型输出中导出所需的内部块响应仍然悬而未决。