LeRoPE：可学习的 RoPE 频率改进语言建模

旋转位置编码（RoPE）是目前现代语言模型中最流行的位置编码。 RoPE 旋转查询向量和键向量的二维块，根据其相对位置偏移量进行操作。 RoPE 中的位置旋转速率通常遵循由固定基频超参数指定的几何序列。之前的工作通过增加此参数来减慢旋转或仅将 RoPE 应用于 QK 维度的子集来提高性能。在这项工作中，我们通过学习每个频率的标量来修改 RoPE，将频率视为可学习的参数而不是超参数。我们通过从头开始训练一系列语言模型（参数范围从 52M 到 2.5B）来验证 Learned RoPE。我们观察并分析了高标准、定位 LeRoPE 乐队的出现。 LeRoPE 在所有规模上始终优于 RoPE 和部分 RoPE，其中 RoPE 需要多出 3.4% 的计算量 (FLOP) 才能在最大规模上与 LeRoPE 相匹配。