开源项目

llama.cpp让Xe2直接在量化KV上执行Flash Attention

[SYCL] add DPAS flash attention kernel for quantized KV cache (#31125)

AI 基础设施推理服务

概述

新的SYCL Flash Attention路径在Xe2的XMX单元上直接计算Q4_0/Q8_0 KV,覆盖1—31个query token的解码或投机核验,prompt仍走现有实现。此前相关路径会标量反量化,或在每次调用时把整个KV转为FP16。本实现采用DPAS、组内共享读和split-K,并保留GGML_SYCL_FA_DPAS=0关闭入口。 作者在B580、Llama 3.1 8B Q4_K_M、Q4 KV及16K上下文上测得tg128由31.3增至54.2 token/s;零上下文仅小幅变化,pp512不变。实际只测试了B580,Windows、B70和图模式未测,端到端只做一次重复,也没有PPL/KLD结果。