开源项目
sqliteai/warp:权重驻留磁盘的消费级硬件大模型推理引擎
sqliteai/warp
概述
WARP(曾名WASTE)以纯C实现、零第三方运行时依赖:模型主干保留在内存,被选中的专家直接从磁盘流式读取,剩余RAM作有界专家缓存;一个专家对应一次对齐读取,lookahead路由器预测下一层所需专家。2.78万亿参数的Kimi K3以未蒸馏未剪枝的完整模型运行(原始权重1.42 TB、转换后容器982 GB),在64 GB MacBook Pro上约0.6 token/s;552B的DeepSeek-V4.1-Flash约3.8,313B的GLM-5.3-Flash图文约3.9。