开源项目

llama.cpp修复长草稿被拒绝后的循环状态回滚

server : restore the spec checkpoint for drafts longer than n_rs_seq (#31350)

模型推理投机采样

概述

在draft-mtp与ngram-mod组合中,目标上下文的循环快照长度可能只有3,而ngram草稿可达64。较长草稿只在末尾少量token被拒绝时,旧服务端会读取未被CUDA分块核写入的中间状态。现在凡草稿长度超过n_rs_seq,核验失败时均使用草稿生成前的检查点,再重算已接受部分。 作者用RTX 5080、Qwen3.5-4B Q8_0及MTP头对照,复现了64/65 token核验批次回滚后的状态误差,并比较了12个代码编辑提示。CPU与Metal会写每份快照,现有T4 CI又不进入该CUDA分块核,因而不能用那些路径的成功替代此条件下的核验。