开源项目

Splash:利用草稿模型和 Metal 加速 Apple 本地推理

incoai/splash

AI 基础设施模型服务框架

概述

Splash 是面向 Apple 设备的本地推理项目,结合草稿模型与 Metal 实现加速生成。 面向Apple silicon提供模型专用草稿、Metal内核和内存计划的一体化本地推理引擎。