开源项目
llama.cpp补齐NoPE与图预算,使Ripple可运行DFlash2草稿解码
Support DFLASH2 for Recursive Ripple-65B-Preview
概述
llama.cpp 是面向本地及自托管模型的 C/C++ 推理与服务工具。此次为DFlash2接通Ripple目标层输入,转换器写入no_rope_layers,草稿图按层跳过NoPE旋转,并按draft block_size扩大节点预算,解决block-16草稿在创建上下文时的断言及接受率问题。PR在M5 Max、公开Ripple-65B Q4_K_M目标与Q8_0草稿、温度0单流下报告:无草稿11.9 token/s,n_max=4为35.4,n_max=8为36.5;分别是约3.0/3.1倍,不是跨硬件基准。已合入并随b12416交付,不把目标模型或草稿权重另算新工程。