RoVE：相对位置依赖价值路径的旋转价值嵌入注意力

旋转位置嵌入（RoPE）使注意力分数与位置相关，但使价值路径位置盲：价值词元发送的消息是相同的，无论其与查询的距离如何。我们提出了 RoVE，一种无参数修改，通过与键同时旋转值来使值对位置敏感，并表明它将 RoPE 注意力转变为注意力卷积。这种新视角统一了计算机视觉、机器人技术和现代 LLM 架构中相同操作的几种独立表述。经过训练的 124M 和 354M GPT-2 模型在少样本上下文学习、分布外困惑和长上下文检索方面表现出比 RoPE 一致的经验收益，并且在需要远程聚合的任务上有最明显的改进。