开源项目

ANE-LM:苹果神经引擎LLM推理工具

johnmai-dev/ANE-LM

模型推理推理加速

概述

ANE-LM 是在 Apple Neural Engine 上运行大模型推理的工程,面向希望在苹果芯片上做端侧推理的开发者。项目本次首次发布,创建于3月3日:它调用私有的 AppleNeuralEngine.framework API 执行推理,当前支持 Qwen3 与 Qwen3.5 稠密模型,仓库给出 CMake 构建步骤及下载 safetensors 模型后的生成运行命令,代码以 MIT 许可开源。需要说明的是,它是推理工程而非新的模型权重或模型版本发布。