开源项目

llama.cpp通过SYCL IQ3重排加速Intel GPU完整模型解码

llama.cpp b11636

AI 基础设施推理服务

概述

llama.cpp用于本地运行量化大模型,本次SYCL更新在加载阶段为IQ3_S和IQ3_XXS权重建立持久重排布局,改善后续解码访存。发布材料给出Intel Arc Pro B70、Qwen3.8-27B-GSQ-RCO-IQ3_S(MTP)、GPU全层、batch4096、ubatch1024、Flash Attention启用的完整模型测试:tg256在空上下文约12.92→23.54 token/s,9216上下文12.33→21.69,64K上下文9.76→14.91;pp8192基本不变。收益不能外推至其他GPU或所有量化格式。代码采用MIT许可,需选择包含该变更的构建并保留相同硬件、模型、上下文和参数复测。