论文
SwiGLU 的开放正尾有必要吗？来自 MemGLU 闭尾门控的证据
Is SwiGLU's Open Positive Tail Necessary? Evidence from Closed-Tail Gating with MemGLU
摘要
我们测试仅解码器的语言模型 FFN 是否需要 SwiGLU 的开放正尾部。我们引入 MemGLU 作为源自忆阻分支几何结构的闭尾比较器。在使用三个种子的配对 9M 和 30M 预训练运行中，MemGLU 在验证 NLL 中保持在 SwiGLU 的约 0.1% 范围内。经过训练的 SwiGLU 检查点对正尾部抑制很敏感，而机制诊断表明，尽管损失相似，但这两个模型使用门的方式不同。这些结果表明模型适应预训练期间可用的门几何形状。在测试规模上，SwiGLU 的开放正尾对于仅解码器的语言模型 FFN 来说并不是必需的。