开源项目
llama.cpp修复嵌入模型Flash Attention回退CPU的问题
llama.cpp b11576: pad no-cache attention KV dimension
概述
llama.cpp b11576修改嵌入和编码器模型使用的无KV缓存注意力路径。部分CUDA Flash Attention内核在头维度为512时要求K/V长度按256对齐,旧路径未做相应填充,导致多数输入长度回退CPU,自动探测还可能把Flash Attention整体关闭。更新为mask、K与V补齐对齐长度,恢复符合条件时的GPU注意力执行。 PR以EmbeddingGemma 2作验证,报告3841 token测试从363ms变为58ms,嵌入输出保持不变;该数字仅适用于报告的测试条件,不外推为所有嵌入模型或完整请求收益。纳入依据是明确的CPU回退到GPU执行边界修正,而非把每项内核改动都当作正式信号。目标版本采用MIT许可。