vLLM主线交付AMD原生3至4比特KV缓存后端

vLLM新增ROCM_OCTAVE注意力后端，提供octave_k3v3、octave_k3v4和compact格式，覆盖缓存写入、预填充、解码、CUDA图与MTP验证。主线交付原生HIP实码，当前校验硬件为gfx1100和gfx942，支持头维度256、64个RoPE维度的指定Qwen系列结构，其他架构不能直接视为支持。 作者在单MI300X、Qwen3.8-27B量化模型、TP1和MTP k=3配置下，披露k3v3可缓存约701万token，对照AITER FP8约360万；对应长上下文单请求解码接近，但16并发8K请求下总吞吐221 token/s低于FP8的235，不能概括为全面更快。作者自述RDNA3此前已投入使用，本条按目标日主线源码交付新阶段计，不称26日首次发明或首次公开。