开源项目

NVIDIA/flashdreams:通用高性能推理与实时服务平台

NVIDIA/flashdreams

AI 基础设施推理服务

概述

flashdreams 是 NVIDIA 新建的仓库,定位为通用的高性能推理与实时服务平台,工程身份独立,即作为独立工程项目而非附属示例存在。该方向指向低延迟推理服务与实时交互场景,与 NVIDIA 自有硬件栈的配合方式值得关注。仓库处于创建初期,架构与能力范围需以代码与文档为准。