开源项目Basalt让深请求后的KV显存按网格归还专家槽位jesdga95·来源日期:2026.11.01模型推理模型架构MoEKV Cache收藏概述弹性KV一次映射的长区域只能整段解除,较短后续请求若仍高于基础floor便无法归还任何深请求显存,挤占MoE专家槽位。 KV数组映射按floor网格分段,后续请求裁剪时能解除切点之后的完整段,把多余显存交回专家流入池。 KV数值保持,专家GPU/CPU放置变化可能使自由生成不同;代码给出网格回收回归,没有独立端到端提速声明。