开源项目
Strata NVFP4更新内存分层部署,并默认关闭有损尾部跳过
Strata NVFP4 v0.1.42-nvfp4.1 / .2
概述
Strata NVFP4是Strata的模型部署分支,提供实际推理、安装及模型包配置代码,采用MIT许可。v0.1.42-nvfp4.1基于上游0.1.42,针对NVFP4、Q8_0和混合包关闭默认tail skip,上游GGUF默认行为不变。原因是该近似跳过引入的KL偏差与量化本身相近,项目选择质量优先,用户可显式开启。 v0.1.42-nvfp4.2进一步根据模型包和可用RAM选择常驻内存或低内存存储路径,给系统预留10GiB,并扩展128GB机器上的模型包选择。既有小于92GiB范围的策略保持原状。两个同日版本合并为一次部署与质量边界调整。 Release给出RTX 5090与特定CPU、128GB RAM的对照样本;tail skip在五轮样本中约提高11.5%解码速度,伴随质量代价,且不是新默认配置。低于128GB的新包场景和部分大包尚未实测,不能把公开单机结果宣传为普遍吞吐收益。