开源项目

llama.cpp让Apple模型加载暂存页及时归还操作系统

llama : allocate the tensor staging buffer from the CPU buffer type

AI 基础设施模型部署

概述

llama.cpp 是面向本地及自托管模型的 C/C++ 推理与服务工具。在macOS 27.0.1,非mmap加载通过复用std::vector暂存最大张量,释放后libmalloc仍可能把该块保留在进程footprint。此次改为CPU backend buffer,Apple路径使用vm_allocate,释放时将页归还系统;重用策略保留。PR在M3 Ultra上报告granite-4.2-3b Q4_K_M释放后footprint从590.2降至369.1 MiB,加载时间与perplexity对照基本不变;Mac Catalyst也有测量。b12400含变更,iOS未实测,不推断所有模型或加载方式均同幅下降。