开源项目
llama.cpp CPU:tinyBLAS尾部向量化与SpacemiT Q8_0内核
b11398
概述
llama.cpp当日CPU后端两项变化(已合并记录):b11398在x86的tinyBLAS中向量化BF16、FP16与FP32的K尾部处理,改善非整K乘法的性能路径,并调整测试以对照vec_dot路径;b11408为SpacemiT X60新增Q8_0的IME1矩阵内核——此前IME加速仅覆盖Q4_0/Q4_1/Q4_K,Q8_0无IME1内核。两条均无统一性能数字;x86用户与SpacemiT用户应分别以目标构建实测。