开源项目
llama.cpp b11366:防止退化imatrix组触发量化舍入断言
b11366
概述
llama.cpp的imatrix流程用于为模型量化提供重要性信息。b11366修复qkx3尺度搜索的舍入边界:拟合最小值与最大值重合,或数值范围极小时,搜索可产生inf、NaN或其他越界值;这些值被传入nearest_int后可能在Debug构建中触发断言。修复在舍入之前将量化级别限制到[0,nmax],正常范围输入保持原有行为,非法搜索结果不再进入nearest_int。发布说明增加q2_K、q4_K、q5_K、q4_1和q5_1的退化imatrix组回归覆盖,并关联问题#29804。使用受影响量化流程的团队可选择含修复的构建,用自己的退化输入验证是否能完成量化;这里核验的是代码与发布事实,未在本轮执行这些测试。原文没有证明已生成权重失效,也没有给出困惑度改善,因此不据此要求全部模型重新量化。