开源项目

llama.cpp修正Hexagon无掩码图像注意力的尾部填充

hexagon: fix fa no-mask tail

AI 基础设施模型服务框架

概述

llama.cpp 是面向本地及自托管模型的 C/C++ 推理与服务工具。Hexagon的无mask注意力在kv_rows=484等非整块图像形状下,旧循环把不完整尾块当作完整块处理,留下28个零填充参与softmax。最终差异按128行完整块边界循环,让尾部正确填充负无穷。PR在IQ-9075、GGML_HEXAGON_HOSTBUF=0下以LFM2-VL-450M和Qwen3-VL-2B报告484/676/1444等形状的数值误差问题;没有披露真实下游准确率变化。b12386包含该修复,适用的是特定Hexagon视觉编码路径。