CNet：结合复值自动微分与快速因果傅里叶混合进行语言建模

CNet 是一个 C++/CUDA 框架，用于构建 训练 深度复值神经网络 (CVNN)，更一般地说，用于通过 Wirtinger（CR 微积分）导数的梯度下降来优化复值函数。它采用物理学原生立场：网络是作用于幅度向量的复杂且通常是单一（DFT）操作的级联，分类是玻恩规则测量 $p_k = |z_k|^2 / \|z\|^2$，而不是真实 logits 上的 softmax。每层都会提供一个 CPU 参考和一个针对有限差异进行检查的 CUDA 内核，并且计算图会跨批次克隆以供 GPU 执行。在基础层之上，我们添加了信号处理原语，将恒等 conv(x,k) = IFFT(FFT(x) . FFT(k)) 转换为可学习的复杂卷积网络，以及真正的 Adam 优化器和简化的 记忆 推理模式。我们报告了三项研究。首先，建立在新的 $O(N \log N)$ 因果傅里叶混合器上的完全复值、FNet 风格的因果序列模型 - 由 Bluestein / chirp-z 分解评估的三角掩蔽 DFT：一旦正确调整，它在字符级语言建模上匹配或超过参数匹配的实值因果 FNet，在 训练 步骤的一半以下达到真实模型的收敛质量。第二和第三，无线电调制分类（RML2016.10a）和相干衍射成像的傅里叶相位问题的瓶颈分析，准确地隔离了复值网络仍然需要新算子的地方。在这三个方面，复杂的公式被证明可以学习物理上正确的结构。代码：https://github.com/crasmarum/CNet