carloslfu/slotstream：在内存不足的 Mac 上 SSD 流式加载大模型的推理引擎

仓库于 2026-08-28 创建（仓库创建）。slotstream 是独立实现的低内存 MoE 推理引擎，思路是把大部分权重留在 SSD、按需加载：运行 1250 亿参数、约 105GB 的 Qwen3.8-Flash-Next（MLX 4-bit），面向 16-64GB 内存的 Mac。作者实测 48GB M5 Pro 在 22GB 内存目标下达 15.86 tokens/s，并公开测量方法、保留失败实验记录。引擎为基于 MLX 与 Metal 的单一原生 Swift 程序，`slotstream launch claude` 可让 Claude Code 直接跑本地模型，Codex、Pi、opencode、Hermes 同理；另提供 Ollama/OpenAI/Anthropic 兼容 API 与 Swift 库，一次性下载后可离线使用、无云账号。