开源项目

Paddock v0.1.8:NVIDIA 与 Apple Silicon 原生 Rust 推理服务器

truespar/paddock:NVIDIA与Apple Silicon原生Rust推理服务器

AI 基础设施推理服务

概述

Paddock 是以 Rust 编写的本地模型推理服务器,支持 NVIDIA GPU 和 Apple Silicon。 Paddock 是 Rust 模型推理服务器,项目支持 NVIDIA 和 Apple Silicon。v0.1.8 增加 Bonsai 模型,修复高负载图像请求,并改善 Studio 体验。 该版本发行包重点覆盖 Windows、Linux 与 NVIDIA DGX Spark,要求 NVIDIA 驱动580或更新版本;项目整体支持范围与单个发行包范围不同。