开源项目

mlxcel:Apple芯片原生推理工具

lablup/mlxcel

AI 基础设施推理服务

概述

mlxcel由lablup发布,面向Apple Silicon与NVIDIA CUDA系统提供原生推理实现,README说明其覆盖LLM、VLM、embedding、reranking及音频推理场景,面向在本机或自有服务器部署模型能力的开发者。仓库1月30日创建,采用Apache-2.0许可,提供原生推理代码及安装运行说明,当期以原生路径为首发能力,后期增加的多后端功能不追溯为本次内容。接入后,苹果芯片用户可不依赖远端服务完成推理。