模型
Glyd发布Nemotron 3 Hummingbird量化权重,模型体积48.7GB
Nemotron 3 Super (120B-A12B) · Glyd hummingbird
概述
Hummingbird是基于NVIDIA-Nemotron-3-Super-120B-A12B-BF16的量化检查点,已在Hugging Face公开。模型卡披露48.7GB体积,相比BF16的241.4GB缩小约80%;占权重多数的路由专家约为2.99bit,其余矩阵为6bit,明确属于有损压缩。 权重以Glyd格式运行,不能直接用于vLLM或transformers。适用Linux、Ampere及更新的NVIDIA GPU,显存至少16GB、驱动580或更新。引擎将高频专家留在GPU,其他专家由CPU从内存或SSD处理;64GB内存更有利于完整速度,32GB机器需更多磁盘读取。16GB测试是将RTX 4090的可用显存限制为15GiB的模拟预算,不能等同于实测RTX 4080。 项目提供255个贪心token的单用户解码样本和小规模GSM8K、MMLU-Pro结果,BF16没有在同一评测框架中对照运行,故不能据此断言质量无损。权重遵循NVIDIA Nemotron Open Model License;运行引擎采用BUSL-1.1,个人非商业使用与商业许可条件需要分别核对。