开源项目

matrixhub 发布:自托管模型注册、缓存与权重分发基础设施

matrixhub-ai/matrixhub

AI 基础设施模型部署

概述

matrixhub 是当期新发布的基础设施工程,面向管理多个模型与推理集群的团队。它提供自托管的模型注册、缓存与权重分发能力,可在不同模型与推理集群间复用,仓库提供 Docker Compose 与 Helm 部署方式。项目采用 Apache-2.0 协议,由 matrixhub-ai 维护。