开源项目

pegainfer:无Python依赖的Rust推理服务引擎

pegainfer-project/pegainfer

AI 基础设施模型服务框架

概述

PegaInfer是一个以Rust与CUDA实现的LLM推理服务引擎,通过OpenAI兼容API对外提供服务:每个模型拥有独立的调度器、状态与算子,服务与KV缓存等基础设施在模型间共享,整个运行时不依赖PyTorch或Python。工程采用Apache-2.0许可,本次发布提供Rust/CUDA构建与模型服务启动命令,含预编译二进制发布。适合追求轻量部署的技术团队。