开源项目

BigMoeOnEdge创建仓库:低内存设备部署超内存MoE模型

Helldez/BigMoeOnEdge

AI 基础设施模型部署

概述

BigMoeOnEdge独立解决低内存设备上部署超出内存容量的MoE模型问题:通过专家选择性加载或流送策略,让边缘设备运行远超物理内存的大参数混合专家模型。仓库(仓库创建日,非功能发布日)。在边缘设备(手机、开发板、旧笔记本)上部署MoE模型的开发者可对比其与moe-l2、TurboFieldfare等同类方案的策略与性能;实际推理速度受存储带宽硬约束。