开源项目
SigmanticAI/apex-inference-chip:验证优先的开源LLM推理芯片工程仓库创建
SigmanticAI/apex-inference-chip
概述
APEX(tinyNPU)是完全开放、验证优先的LLM推理tile:一个transformer解码层的真实RTL,覆盖注意力、KV缓存压缩、softmax、RMSNorm、RoPE、SwiGLU与残差,每个模块对可执行黄金模型逐位一致,经验证管线运行真实Qwen模型,并在真实FPGA硬件上完成点亮;目前处于流片前(pre-silicon)阶段。区别于为计算而生的GPU,该tile为“记忆”而生:在同一数据通路里既做注意力运算又压缩对话的KV缓存,目标是上下文变长时读取速度保持平稳。仓库所有数字标注“实测”或“预估”,提供STATUS、结果索引、主表与复现入口。