模型
IBM 开放 Granite-SWASH-3B-a600M 轻量架构预览发布
IBM 开放 Granite-SWASH-3B-a600M 轻量架构预览
概述
IBM 发布 Granite-SWASH-3B-a600M，这是 Granite 后续系列的轻量架构预览。模型采用稀疏 MoE 解码器架构，结合滑动窗口注意力和可学习注意力汇点；总参数约 30.2 亿，每次推理激活约 5.98 亿参数，可通过 Transformers、vLLM 和 SGLang 本地运行。
IBM 开放 Granite-SWASH-3B-a600M 轻量架构预览
IBM 发布 Granite-SWASH-3B-a600M，这是 Granite 后续系列的轻量架构预览。模型采用稀疏 MoE 解码器架构，结合滑动窗口注意力和可学习注意力汇点；总参数约 30.2 亿，每次推理激活约 5.98 亿参数，可通过 Transformers、vLLM 和 SGLang 本地运行。