论文
MELINOE:微调 为混合专家模型实现内存高效推理
MELINOE: Fine-Tuning Enables Memory-Efficient Inference for Mixture-of-Experts Models
摘要
专家混合 (MoE) 模型架构可以显着减少每个词元激活的参数数量,从而实现计算高效的训练和推理。然而,它们庞大的总体参数数量和模型大小阻碍了它们在资源受限的环境中的广泛使用,因为所有参数仍然必须加载到 GPU 内存中。之前的工作旨在通过将某些专家卸载到 CPU 内存中并仅在激活时将它们移植到 GPU 内存来解决此内存瓶颈。在实践中,这些方法会受到专家传输带来的显着 I/O 延迟的影响。我们提出了 MELINOE,一种对 MoE 模型进行微调的方法,以更倾向于每个序列激活较少数量的专家。将这些首选专家缓存在 GPU 内存中可以减少专家流失和 CPU-GPU 传输开销。 MELINOE 与高效基线相比,吞吐量提高了 1.2-3 倍,与传输密集型基线相比,吞吐量提高了 14.7 倍,同时保留甚至提高了模型在下游任务上的性能,使其成为提高 MoE 推理效率的可靠方法。