开源项目
gemma3.c:纯C实现的Gemma 3推理引擎
robitec97/gemma3.c
概述
gemma3.c是面向Gemma 3 4B IT模型的推理引擎,用纯C11从零实现、无外部依赖,适合想在本地部署该模型的开发者与研究者。README介绍其完整实现GQA、混合注意力与SwiGLU结构,支持Apple Silicon上Metal GPU加速、BF16 SafeTensors内存映射权重、262K词表SentencePiece分词、流式输出与多轮对话,提供CLI与库API及多线程推理。README声明MIT许可,提供构建与运行说明。