开源项目
llama.cpp在全局LoRA配置改变时清除槽位旧KV
server : clear slot cache when the global lora config changes
概述
llama.cpp 是面向本地及自托管模型的 C/C++ 推理与服务工具。原实现只在请求显式给lora时比较配置;全局适配器或scale改变后,未给lora的后续请求可能复用旧槽位KV。此次统一选择请求或全局配置,再经过are_lora_equal与既有失效规则清除prompt,使下次重算KV。测试关闭RAM缓存,覆盖全局scale切换及请求配置回到全局;讨论报告回退修复后cache_n由预期0变46。b12410包含修复。它没有处理RAM prompt-cache条目的LoRA身份,另案#30275负责该路径,不能表述为所有LoRA缓存问题已解决。