开源项目
llama.cpp b11388:imatrix新增激活统计与ECS评分
b11388
概述
llama.cpp b11388为新的GGUF格式imatrix加入激活统计能力:按激活计算每层统计量,包括激活熵、激活余弦相似度、L2范数与聚合逐层L2,新增compute_layer_statistics()与两尾ZD分数,并提出Euclidean–Cosine Score(ECS)聚合评分;统计经--activation-statistics参数启用,默认避免imatrix体积翻倍;同时支持通过-md/--model-draft处理外部NextN草稿文件并迁移到llama_batch_ext。该工具面向量化前后重要张量的定位与量化方案比较,输出为诊断信号,公告未给量化精度或困惑度的对比结论;使用者需在目标模型上采集激活后解读报告,且旧格式imatrix不在此统计范围内。