Chem-GMNet：用于分子特性预测的球体原生几何 Transformer

现代基于 SMILES 的化学语言模型通过将 SMILES 视为通用文本并通过数百万分子自监督预训练进行补偿，获得了强大的 MoleculeNet 性能。我们问：当一个领域具有与化学一样丰富的结构先验时，它是否需要使用领域原生的 Transformer，而不是通过规模来拯救的通用领域？我们用 \textbf{GM-Net} （几何测量网络）（几何测量网络）来回答肯定，这是一个 Transformer 系列，其中每个模块都被替换为 sphere-native 对应模块，并将其实例化为 \textbf{Chem-GMNet}。接下来是三个块：SH-Embedding（通过 Gegenbauer 特征图提升 $S^{k-1}$ 上的标记作为可学习方向）； DualSKA（线性时间门控 Sphere-Flow 递归的每头融合，我们证明其持久状态是输入分布的截断多极展开，以及同一 Schoenberg 有效内核上的 softmax Sphere-Kernel 分支）；和 SH-FFN（球体投影 $\to$ Gegenbauer lift $\to$ 力矩读数）。在规范的 DeepChem 支架分割上，与 chemberta3-faithful 协议下的相同形状的 ChemBERTa-2 基线相比：(i) 随机初始化，Chem-GMNet 在 10 个 MoleculeNet 端点中的 7 个上以 $\sim\!35\%$ 更少的参数获胜； (ii) 在与 ChemBERTa-2 MLM-10M 相同的 10M-SMILES ZINC 语料库上进行预训练，它在 8 个共享端点中的 6 个上匹配或击败公开版本（5/7 排除已知的 ClinTox 发布异常）。 $(k,L)$ 消融表明，在固定的 $L\!=\!3$ 处将球体尺寸从 $k\!=\!8$ 增加到 $k\!=\!10$ 可以将 ESOL RMSE 降低至 $0.938$，在该端点上击败预训练的 ChemBERTa-2 MLM-10M，无需任何预训练。