开源项目

Orion:苹果神经引擎本地LLM运行时

mechramc/Orion

AI 基础设施模型部署

概述

Orion 是一个本地 AI 运行时项目,面向在 Apple Silicon 上训练和运行小模型的开发者。项目本次首次发布:它直接调用神经引擎(ANE)执行计算,不依赖 CoreML、Metal、GPU 与云端,为多模型提供可复用的 ANE 编译与执行抽象,内部包含共享编译器、内核和 ANE 运行时;仓库提供 make 构建及训练、推理命令,以 MIT 许可开源。对想绕开常规图形栈探索苹果芯片端侧推理的用户,它提供了一条独立的技术路径。