开源项目

andrisgauracs/needle-2-esp32:在ESP32-S3上实现全离线语法保证工具调用的端侧模型实验工程

andrisgauracs/needle-2-esp32

模型优化端侧模型

概述

needle-2-esp32面向想在微控制器上做端侧推理的开发者,演示45M参数模型在ESP32-S3上的完整工具调用闭环:终端输入请求后,模型流式输出推理并发出符合schema的工具调用,驱动GPIO48上的WS2812 RGB灯,全程无网络与云端。工程为.cact推理格式的独立C99实现,约3700行、零依赖,并非源自Cactus的C++引擎。硬件仅针对一块指定开发板:ESP32-S3双核、16MB Flash(模型占13.1MB)、8MB octal PSRAM,2MB或quad PSRAM不可用。实测240MHz下每token 534毫秒(1.87 tok/s),关推理约25秒、开推理约47秒完成一次请求,负载属计算受限。复现需ESP-IDF v5.5+与Python 3。