开源项目
TurboFieldfare创建仓库:SSD专家流送实现约2GB内存跑Gemma 4 26B
drumih/turbo-fieldfare
概述
TurboFieldfare通过SSD专家流送实现受限内存下的模型推理:自研Swift运行时把MoE模型的专家权重保留在SSD、按激活流送进内存,官方口径为让Gemma 4 26B-A4B在约2GB RAM中推理。仓库(仓库创建日,非功能发布日),附品牌化文档。想在低内存设备(如旧笔记本、树莓派类设备)本地跑大MoE模型的开发者可实测其吞吐与延迟;性能上限受存储介质随机读取速度硬约束,SSD较慢时生成速度会明显受限。