开源项目

FareedKhan-dev/kimi-k3-in-c:8GB内存单CPU跑Kimi K3的纯C推理

FareedKhan-dev/kimi-k3-in-c

AI 基础设施模型部署

概述

kimi-k3-in-c以可移植C99实现2.78万亿参数Kimi K3的CPU推理,无BLAS、无框架、无GPU,版本1.1.0,Apache-2.0,支持Linux/macOS/Windows。关键数字:磁盘检查点1.56 TB,实测峰值内存8.24 GB,整个引擎仅176 KB。在8GB内存的普通笔记本上每步将整个模型从磁盘流式读入,每token约26.5秒;32GB高端笔记本约24.2秒,部分权重可驻留内存。官方强调同一模型、同一答案,内存多少只影响速度而非可行性。