开源项目
Ollama将Qwen3.8 Flash Next的Mac常驻模型内存降至70.8GiB
MLX: make Qwen3.8 Flash Next memory efficient (#18078)
概述
Ollama本次主线更新针对Qwen3.8 Flash Next的Apple MLX执行。模型包含26.8GiB的NVFP4 PLE表,但每次forward只触及少量哈希行。实现以内存映射读取发布的safetensor分片,只把选中的打包行送入MLX解量化,其他布局保留原常驻回退路径。量化策略同时保留QSA投影和非专家MTP路径的BF16,并对其他合格稠密及控制权重采用MXFP8,以避免全量NVFP4对长生成质量的损害。维护者报告wired model memory从97.6降到70.8GiB,且未测到目标decode吞吐明显下降,使该模型更适合128GiB Mac。该交付是指定模型的实际内存边界变化,不能外推为所有模型或所有Mac均有同样收益;源码合入与正式Ollama安装包升级分开理解。