超越正弦曲线：Transformer 位置编码的 Morlet 小波框架

Transformer 的标准位置编码 - 正弦和旋转 (RoPE) - 将每个位置视为同等的本地位置：它们对标记所在的位置进行编码，但不对其位置影响应延伸多远进行编码。我们提出同时最小化位置和频率不确定性的 Morlet 小波是位置编码的自然基础，并引入 Morlet 位置编码（MoPE）：每个嵌入维度从数据中学习自己的频率和局部带宽。主要的理论结果是统一：当局部性关闭时（sigma_i -> 无穷大），正弦 PE 和 RoPE 相关核都作为 MoPE 的极限情况出现。 MoPE相位准确恢复RoPE旋转角度；幅度添加了标准编码所缺乏的学习高斯局部性内核。根据经验，MoPE 与 Energy-Gated Attention 相结合，比 TinyShakespeare 的标准注意力提高了 +0.119，优于单独使用任何一个组件。对学习参数的分析表明，所有 128 个频率带宽对都收敛到小波容许边界——这一经验观察与能量门控的结果一致，表明字符级语言信号的可再现特性值得进一步研究。