论文

Metriplector:从场论到神经架构

Metriplector: From Field Theory to Neural Architecture

模型架构新型架构

摘要

我们提出了 Metriplector,一种神经架构原语,其中输入配置了一个抽象的物理系统——字段、源和运算符——而该系统的动态就是计算。多个场通过耦合三电动力学演化,并且由诺特定理导出的应力能量张量 $T^{\mu\nu}$ 提供读数。三重公式允许实例化的自然谱:耗散分支单独产生通过共轭梯度精确求解的筛选泊松方程;激活完整的结构——包括反对称泊松括号——为图像识别和语言建模提供场动力学。我们跨四个领域评估 Metriplector,每个领域都使用从这个共享原语构建的特定于任务的架构,其物理特性逐渐丰富:迷宫寻路时 F1=1.0,从 15x15 训练网格推广到看不见的 39x39 网格;零结构注入的数独准确解率高达 97.2%;在具有 2.26M 参数的 CIFAR-100 上为 81.03%;语言建模为 1.182 位/字节,训练标记比 GPT 基线少 3.6 倍。

Metriplector:从场论到神经架构:论文配图
图 1:Metrilector 场相互作用。顶部:KK 场 𝝍k\bm{\psi}_{k} 通过空间网格上的三重动力学演化(梯度箭头显示 ∇𝝍k\nabla\bm{\psi}_{k});外积 ∇𝝍a⊗∇𝝍b\nabla\bm{\psi}_{a}\otimes\nabla\bm{\psi}_{b} 产生三个应力能量分量。底部:每场梯度能量 Ek=|∇𝝍k|2E_{k}=|\nabla\bm{\psi}_{k}|^{2},跨场相关性 Ea​b=∇𝝍a⋅∇𝝍bE_{ab}=\nabla\bm{\psi}_{a}\cdot\nabla\bm{\psi}_{b} 和涡度Va​b=∇𝝍a×∇𝝍bV_{ab}=\nabla\bm{\psi}_{a}\times\nabla\bm{\psi}_{b},通过Conv1×11{\times}1求和并投影到𝐡\mathbf{h}中。显示为 K=3K{=}3;完整模型使用 K=32K{=}32。