开源项目

llama.cpp按设备内存余量动态卸载模型

Router device memory margin for dynamic unloading

AI 基础设施推理服务

概述

llama.cpp路由模式此前主要用同时加载的模型个数控制卸载,难以让多个小嵌入模型共存、又在大生成模型需要时腾出空间。主线新增--models-memory-margin,通过独立测量子进程预估待加载模型的各缓冲设备需求,将已有占用和即将加载的模型一起纳入余量检查,再按既有顺序卸载可让出的模型。 若内存不足且没有空闲模型可卸载,排队加载在条件变量上等待,而不是反复抢占并忙等。测量子进程使用no_alloc,不能把其估计再当真实占用重复扣除;相关核算修正已进入同一提交及b11930发布。该功能为动态驻留与排队调度提供预算边界,原文未给普遍吞吐收益或不同设备的统一安全余量。