论文

T-RoPE:为生成式推荐加入时间、周期与非平稳位置编码

T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation

模型架构Transformer

摘要

大规模推荐系统越来越多地采用大型语言模型背后的顺序生成方法,将 Transformer 以及针对文本的设计选择(包括旋转位置嵌入 (RoPE))纳入推荐中。在语言模型中,RoPE 对词元索引进行编码以进行相对位置推理,但在推荐中,交互索引仅记录事件顺序,而不涉及经过的时间、跨尺度的行为周期或日历阶段。我们重新审视这个选择并提出 T-RoPE,这是一种用于顺序生成推荐的时间感知 RoPE,它用基于时间戳的角度、可学习的时间系数、多尺度频率库、移位查询对齐和非平稳key旋转取代仅索引轮换。我们证明标准 RoPE,即使在时间戳上,也保持时间平移不变性,并且无法区分季节性上下文,而 T-RoPE 打破了这种不变性,同时保留了 RoPE 接口。在五个公共基准测试中,T-RoPE 在每个数据集的每个指标上都取得了最佳结果,在稀疏 PixelRec 数据的 HR@10 中比最强基线提高了 78--130%,在 Amazon Books 上的指标比最强基线提高了 8--12%。在具有超过 6B 次交互的工业规模电子商务数据集上,它将 HSTU + Time RAB 主干上的每个指标提高了 13--82\%,其中消融将最大增益归因于多尺度频率 ($+56\%$ NDCG@50) 和非平稳key ($+4\%$)。 Shop 应用中的在线 A/B 测试在转化率 ($+0.33\%$) 和订单数 ($+0.63\%$) 方面产生了积极的提升。我们还提供前向和后向算法,其增加的成本与序列长度和头部尺寸呈线性关系,从而使时间感知的 RoPE 对于大型生成推荐器来说非常实用。

T-RoPE的几何直觉:序列索引、时间戳与查询位移对事件旋转表示的不同作用。
图1(图注摘要):T-RoPE的几何直觉:序列索引、时间戳与查询位移对事件旋转表示的不同作用。