渐进树形草稿：释放自回归语言模型的并行解码能力

推测解码缓解了LLM推理的内存瓶颈，但传统方案常依赖额外草稿模块，带来训练和通信开销。直接在目标模型内生成草稿的已有方法，又可能因缺乏结构协调而未充分利用并行能力。论文提出渐进树形草稿生成PTD，以结构化、受引导的并行生成策略组织目标模型。渐进树结构结合逐步剪枝，使LLM在一次前向计算中探索多条语义路径，兼顾草稿多样性与连贯性。实验中最高实现2倍解码加速，且无需训练、不依赖特定模型。代码：https://github.com/MINE-USTC/PTD。