淘天优化图生视频推理链路与运行成本

TMAP 平台与「淘宝法象」视频生成算法团队合作，对图生视频模型的线上推理做多卡并行、Attention 加速、量化加速、缓存加速四项优化：采用 Deepspeed Ulysses 序列并行并重构通信流程与计算重叠（通信耗时降低 25%），引入 SageAttention 并设计层间选择性量化（attention 耗时降至原 1/3），线性层 W8A8/W8A16 混合量化消除 CPU Offload（单条 114s→84s），自研 DPCache 缓存（8 卡下加速 140%-160%）；最终在生成质量肉眼不可区分前提下，除多卡外实现 4.87 倍加速，单次推理成本压缩到低于 0.15 元/秒，已在图生视频主服务线上版本上线。