开源项目

picolm:纯C低内存LLM推理引擎

RightNow-AI/picolm

模型推理推理加速

概述

PicoLM是一个用纯C11编写的极简LLM推理引擎,零依赖、单一二进制、无Python与云端依赖,README称可在256MB内存的廉价开发板上运行十亿参数模型,定位为轻量AI助手的本地大脑。工程通过层流式加载、融合算子与SIMD实现低内存推理,采用MIT许可,本次发布提供make构建、模型下载及运行命令。面向嵌入式与边缘设备开发者。