开源项目

PIPO:开放成对压缩与多Token预测工程

redai-studio/PIPO

模型推理AI 基础设施推理加速投机采样模型服务框架

概述

PIPO 是围绕模型输入压缩与多Token输出构建的推理工程实现,供研究者复现论文方法。 pair-in compressor将两个Token embedding映射为一个latent,支持PAD占位;配套MTP与轻量置信度头,把输入与输出侧的优化放在同一模型路径中。 压缩、预测与接受策略需要按同一模型配置组合。不能只看生成Token数量判断加速,应同时检查精度、接受率和实际端到端延迟。