开源项目

Camelid:支持多模型与多接口复用的本地模型服务框架

timtoole02/Camelid

AI 基础设施模型服务框架

概述

timtoole02Camelid仓库,定位为本地模型服务框架:在同一框架内接入多类模型,并以多种接口对外复用,减少为每个模型单独写服务代码的工作量。想在本地统一管理多个模型服务的开发者可参考;框架支持的模型类型、接口协议与性能表现需查阅仓库文档与代码。