基于循环语言模型的线性时间和常量内存文本嵌入

基于 Transformer 的嵌入模型面临二次计算和线性内存复杂性的问题，限制了它们在长序列中的实用性。我们提出循环架构作为一种有效的替代方案，引入垂直分块推理策略，该策略可以实现快速嵌入生成，并且一旦输入长度超过垂直块大小，内存使用量就会变得恒定。通过 微调 Mamba2 模型，我们展示了它们作为通用文本嵌入器的可行性，在一系列基准测试中实现了具有竞争力的性能，同时与基于 Transformer 的同类产品相比，保持了更小的内存占用。我们凭经验验证了我们的推理策略对 Mamba2、RWKV 和 xLSTM 模型的适用性，确认了跨架构一致的运行时内存权衡，并建立了循环模型作为 Transformer 的引人注目的替代方案，以实现高效的嵌入生成。