开源项目TorchSpec:投机解码草稿模型训练框架lightseekorg/TorchSpeclightseekorg·来源日期:2026.02.21模型推理投机采样收藏概述TorchSpec是一个torch原生的投机解码训练框架,采用解耦的训练方式:推理与训练完全分离,经由Mooncake存储把隐藏状态从推理引擎组直接流向分布式训练worker,两侧可以独立扩展。工程采用MIT许可,本次发布提供环境安装与训练脚本。面向需要训练投机解码草稿模型、优化推理吞吐的工程与研究人员,可按脚本复现其训练流程。