腾讯混元团队优化Hopper上的Hy3长上下文推理

腾讯混元AI Infra推理团队在Hopper硬件上的Hy3 preview长上下文推理加速场景中应用AI。团队在Hopper硬件上优化Hy3 preview，实施融合算子、TP/SP及DP/EP并行、GPU至CPU至KVStore三级缓存、MTP异步调度、W4A8与Attention FP8量化和Stem稀疏注意力。分项测试中，并行优化使端到端吞吐提升15.7%—44.7%，量化提升28%以上；稀疏注意力以25%计算预算在128K上下文实现Prefill加速3.6倍，各项收益不可直接相加（发布方自述口径）。