开源项目

llama.cpp b11310:修复IQ4_NL短行CUDA内存边界

b11310

AI 基础设施AI安全与内容治理基础设施

概述

llama.cpp支持量化模型本地推理。b11310在CUDA IQ4_NL处理短行时增加读写边界保护,修正原路径可能越界访问的问题。使用该量化类型和CUDA后端的团队可升级并重跑相应形状的验证用例。公告没有披露攻击利用结果或通用性能收益,不能据此扩展为其他量化格式已全面修复。