三重态块扩散 RWKV

因果 Transformer 语言模型受到严格顺序解码和二次每步注意力成本的影响。虽然线性时间因果模型和离散扩散模型都解决了这些弱点，但它们的集成本质上仍然不一致：扩散需要双向关注，而因果模型是单向的。为了统一这些架构，我们提出了 $B^3D-RWKV$，一种扩散 RWKV 变体，它通过 \emph{三重块布局} 方法将模型的 $O(L)$ 推理效率与并行双向离散扩散相结合。 $B^3D-RWKV-7.2B$ 在 8 任务套件上达到与现有模型相当的精度，同时在解码吞吐量方面显着优于基线，平均加速 $\mathbf{1.6\times}$。