Caracal：通过光谱混合的因果架构

大语言模型 对长序列的可扩展性受到注意力的二次成本和位置编码的限制的阻碍。为了解决这些问题，我们引入了 Caracal，这是一种新颖的架构，它用参数高效、O(L log(L)) 多头傅立叶 (MHF) 模块取代了注意力。我们的贡献有三个：（1）我们利用快速傅立叶变换（FFT）进行序列混合，从本质上解决了上述两个瓶颈。 (2) 我们应用频域因果掩蔽技术，通过不对称填充和截断增强自回归功能，克服基于傅立叶的生成模型的关键障碍。 (3) 与依赖于特定于硬件的实现（例如 Mamba）的高效模型不同，我们使用标准库运算符。这确保了强大的可移植性，消除了常见的部署障碍。评估表明 Caracal 的性能与 Transformer 和 SSM 基线相比具有竞争力，为高效的长序列建模提供了可扩展且简单的途径。代码可在附录中找到。