Kimi K3推理成本分解与架构优化实践

发布于 2026-11-04 · 阅读 8 分钟

将页面保存为PDF

摘要：Kimi围绕K3大模型的在线推理压力，将Decode成本分解为基础延迟、Attention、通信与MoE，在固定响应时间内同时压缩单请求开销和权重读取时间。模型结构、投机采样、显存带宽、算力密度与超节点互联共同决定可承载请求数量，后续重点仍是扩大模型、加强投机采样与压缩KV Cache。