开源项目Tokbench:统一比较Tokenizer速度与资源消耗huggingface/tokbenchhuggingface·来源日期:2026.08.04模型评测评测方法与指标收藏概述Tokbench为不同Tokenizer实现提供统一基准。它使用一致计时循环和Token ID验证检查,比较速度、内存及二进制体积。仓库项目用途依据公开文档介绍;具体支持范围及安装步骤按对应文档确认。分词结果一致后才适合比较速度;文本分布与平台配置也应保持相同。