Kolmogorov--小语言模型的阿诺德网络

Kolmogorov--Arnold Networks (KAN) 用学习的一维边缘函数取代固定节点激活，提供明确的解释接口和 Transformer 前馈网络的可能替代方案。我们分别测试这些说法。在六层、10M 参数 B 样条 KAN 中，我们重建了所有 884,736 个前馈边：87.8% 超出（NLS>0.1），0.4% 不活动。尽管结构化 MLP 神经元修剪可以容忍相当的稀疏性，但修剪最低活动 20--25\% 导致的损失增加可以忽略不计。审计在 BabyLM 上重复，但网格大小扫描表明接近完全的 fPCA 压缩和高闭合形式拟合覆盖率是低容量 grid-2 基础的属性，而不是通用的 KAN 行为。对于替换，我们在 BabyLM 上评估 MLP、SwiGLU、分组切比雪夫和理性 GR-KAN 网络。 KAN 系列和门控变体改善了 GELU MLP 的验证损失，但这种排序不会转移到标准化基准：在 10 个种子和 59,875 个 BLiMP 对中，准确度跨度为 62.4--63.1%，EWoK 仍然存在机会，并且 BLiMP 上的 (+0.7) 点 GR-KAN 效应在补充上逆转。更大的测试也值得警惕：参数匹配的 MLPEdge 在 Wikitext-103 上的表现低于 MLP，并且 286M 参数的 GR-KAN 在稳定后仍低于 SwiGLU ClimbMix 基线。因此，小基础 KAN 提供了一个实用的、可迁移的语料库接口，用于审核学习的标量转换，但经过测试的替代品与强大的 MLP 基线相比，没有表现出一致的基准、质量或延迟优势。