论文

ModularPhaseNet:标准 Transformer 中可计算语义层次结构、方向和上下文一致性的有限循环相位几何

ModularPhaseNet: Finite-Cyclic Phase Geometry for Computable Semantic Hierarchy, Direction, and Context Consistency in Standard Transformers

模型架构Transformer

摘要

我们提出了 ModularPhaseNet,这是 QuantumPhaseNet 中引入的连续复杂相位几何的经典且整数可计算的离散化。标准 Transformer 的实值隐藏状态被保留,而仅辅助相位通道被量化为 q 阶循环子组 G = <g> | (p-1) 在 F_p 的乘法群中。连续相 e^{i phi} 表示为 z = g^a mod p;相合成变为群乘法,相对相变为群除法,概念层次由循环商的过滤引发,语义方向由定向相对群元素表示,上下文一致性由规范不变循环完整性来衡量。该方法将三个组件引入到其他标准的 Transformer 中:有限相位编码器、商过滤层次模块和组值连接模块。他们的输出作为实值偏差项进入自注意力。训练使用实群代数或直通式 Gumbel-Softmax 中的分布,而推理则使用精确的模幂和预先计算的表。不需要量子硬件、复值矩阵乘法或离散对数计算。我们证明了量化失真界限、商诱导分区的嵌套、规范不变性、平坦连接的离散可积结果以及由此产生的注意力输出的有界性。中心经验假设是,这些精确的离散不变量在受控计算预算下改善了层次结构恢复、话语对齐、矛盾检测和校准幻觉风险预测。本文报告了该理论以及预先注册的评估计划;第 14 节中描述的实验尚未进行,此处未声明任何经验结果。