MultiHashFormer：基于哈希的生成语言模型

语言模型 (LM) 使用随词汇量大小线性缩放的嵌入矩阵来表示标记。为了限制参数足迹，先前的工作建议将许多标记散列到仅编码器模型中的单个向量中。虽然这提供了参数效率，但多对一的冲突阻止了它在因果 LM 中的使用。在本文中，我们提出了 MultiHashFormer，这是一个允许基于哈希的自回归的新框架。每个词元都表示为一个唯一的哈希签名，即由多个独立哈希函数生成的离散哈希 ID 的短序列。哈希编码器将此签名压缩为单个潜在向量，以供 Transformer 解码器处理。然后，哈希解码器生成下一个词元的哈希签名，然后将其映射回文本。我们在 100M、1B 和 3B 参数规模上评估我们的方法，证明 MultiHashFormer 在多个基准测试中始终优于标准 Transformer LM。此外，我们表明我们的模型可以在不进行任何修改的情况下以恒定的参数足迹处理多语言词汇扩展。