开源项目
llama.cpp b11368:新增可选概率草稿采样与拒绝验证
b11368
概述
llama.cpp为本地模型推理提供草稿与MTP推测解码。b11368加入可选的概率草稿采样和目标模型拒绝验证,并提供启用开关;发布说明明确默认仍为greedy,因此不是所有部署升级后自动改用概率策略。实现会在起草前丢弃过期的spec_draft_q,在掩码后重新归一化分布,复制采样器时分离随机数流,避免草稿与目标共享随机序列,并将已接受草稿的重放移到server处理。日志先列出语法受限请求的argmax回退,后续又加入语法约束下的拒绝采样处理;使用者应按该构建的实际开关和请求配置验证,不把开发过程中的单一条目写成无条件最终行为。概率策略旨在用目标分布验证草稿,接受率与加速仍取决于模型组合、温度和负载;原文没有给出统一加速比。