开源项目

Basalt让深请求后的KV显存按网格归还专家槽位

概述

弹性KV一次映射的长区域只能整段解除,较短后续请求若仍高于基础floor便无法归还任何深请求显存,挤占MoE专家槽位。 KV数组映射按floor网格分段,后续请求裁剪时能解除切点之后的完整段,把多余显存交回专家流入池。 KV数值保持,专家GPU/CPU放置变化可能使自由生成不同;代码给出网格回收回归,没有独立端到端提速声明。