开源项目

vmlx:Apple Silicon自托管推理服务器

jjang-ai/vmlx

AI 基础设施模型服务框架

概述

vmlx是面向Apple Silicon的自托管推理服务器,支持LLM、视觉语言模型与图像生成,提供OpenAI、Anthropic与Ollama兼容的HTTP API,无需第三方API密钥。工程采用Apache-2.0许可,本次发布附安装与API调用示例,支持多模型及连续批处理、缓存等机制,并含原生的MTP产物检测与按模型族的缓存策略门控。适合在Mac设备上自建推理服务的开发者。