开源项目

goccy/go-llama:纯Go的llama.cpp推理底座

goccy/go-llama

AI 基础设施模型服务框架

概述

go-llama把llama.cpp先编译为WebAssembly、再经wasm2go转译为Go,运行时不涉及wasm虚拟机,基于llamawasm2go模块构建:无cgo、无共享库、单一静态二进制,CGO_ENABLED=0友好。实例各持独立线性内存,可并发隔离运行;一个模型可开多个上下文,权重共享、KV缓存独立,以服务多个独立会话,单实例也能装载多个模型支持投机解码。采样覆盖temperature、top-k、top-p、min-p等与GBNF文法,提供流式输出与可中断生成。