开源项目
pegainfer:无Python依赖的Rust推理服务引擎
pegainfer-project/pegainfer
概述
PegaInfer是一个以Rust与CUDA实现的LLM推理服务引擎,通过OpenAI兼容API对外提供服务:每个模型拥有独立的调度器、状态与算子,服务与KV缓存等基础设施在模型间共享,整个运行时不依赖PyTorch或Python。工程采用Apache-2.0许可,本次发布提供Rust/CUDA构建与模型服务启动命令,含预编译二进制发布。适合追求轻量部署的技术团队。