基于块的双解码器

编码器-解码器模型比仅解码器模型节省了大量的推理时间，但它们的预训练目标受到稀疏监督和动态序列长度的影响，导致它们无法大规模实践。我们提出了基于块的双解码器，这是一种新颖的 Transformer 架构，它利用基于双因果块的注意掩模来进行完全损失监督和静态序列打包的训练，将仅解码器的训练效率与编码器-解码器的推理效率相结合。在缩放定律实验中，基于块的双解码器的性能远远优于编码器-解码器，并且在各个尺度上密切跟踪仅解码器模型。在推理时，他们将 KV 缓存和每个词元的计算量减少了至少 2/3，而不会牺牲预填充缓存或仅用于解码器模型的其他现有推理优化。