开源项目

llama.cpp b11552修复忙碌槽位被提示缓存覆盖的生成错误

llama.cpp b11552 — leave a busy slot untouched when a request pins it

AI 基础设施推理服务

概述

llama.cpp是支持本地模型推理和服务化部署的开源工程。本次b11552修复服务端显式指定id_slot时的请求调度问题。原实现会在发现槽位忙碌后、推迟新请求之前,仍执行该槽位的提示缓存更新。如果RAM缓存中存在更匹配的内容,就可能把它载入另一个任务正在使用的槽位,导致该任务在错误上下文上继续生成。 修复后,忙碌槽位保持原状,指定该槽位的新请求等待其释放。该变化关系到已有生成任务的正确性,因而作为独立工程事件收录。受影响条件是显式固定槽位、槽位仍在生成以及提示缓存匹配发生替换;材料没有证明所有请求或所有部署方式都会出现错误。核验对应PR #30295及b11552发布说明,工程采用MIT许可。