开源项目

NVIDIA开源Flare本地推理原型,将PyTorch准备与Rust服务分开

Flare local inference server

AI 基础设施模型部署推理服务模型服务框架

概述

Flare是面向NVIDIA SM120/SM121设备的本地模型服务原型,目标场景包括长对话、编程Agent与反复工具调用。Ignition使用PyTorch、Transformers和FlashInfer准备模型、调优内核并捕获CUDA执行图,导出包含元数据与内容寻址负载的运行包;Helios以Rust加载这些包,在线服务阶段不依赖Python解释器。固定源码包含实际CLI、调度、缓存与执行模块,并提供uv准备环境、Cargo构建和模型导出、启动命令。项目明确处于研究原型阶段,只覆盖选定模型与设备,不能把特定配方的测试外推为通用生产性能。仓库新建下界和外部公开Issue的时间上界均落在北京时间21日,证实目标日已形成公开交付;并非仅按创建时间推定开源日。