开源项目
draftbench:投机解码草稿模型实测工具
alexziskind1/draftbench
概述
draftbench是一款为投机解码挑选草稿模型的开源基准工具,自动测试给定的目标模型与草稿模型全部组合并测量吞吐,结果存为JSON并绘制交互图表,采用MIT许可。投机解码加速能否兑现取决于草稿模型选择:过小损精度,过大则开销抵消收益,最优组合还与量化及硬件相关。工具提供bench、server、sweep等运行方式,基于llama.cpp与同分词器的GGUF模型工作,README附带的实测结果标注于2026年2月5日。