技术实践
Snowflake用ZoRRo消除强化学习rollout中的提示冗余
概述
Snowflake AI Research提出ZoRRo,在训练与推理侧消除prompt跨rollout冗余(prompt去重、注意力拆分与投机解码)。官方称在Arctic Text2SQL R2的32×H200训练中整体提速3.5倍(5天缩至1.5天)、上下文从20K扩到64K,归一化后单GPU吞吐超1130 TFLOPs、看似超过H200峰值989 TFLOPs,实为去冗余后的感知吞吐;据称模型在企业SQL基准超Gemini 3.1 Pro、Claude 4.7。属厂商自评口径。