返回

京东xLLM投机推理架构设计实践

发布于 2026-10-15 · 阅读 18 分钟
案例企业京东科技展开⌄收起⌃
行业:
IT/互联网
总部:
北京

摘要:针对大模型decode阶段串行生成、计算效率低的瓶颈,京东开源推理引擎xLLM构建控制面与计算面分离的投机推理架构,以验证后置、异步流水线与动态步数控制实现稳定加速,已落地昇腾等国产芯片。

登录后继续阅读

请登录沙丘社区账号后继续阅读。

去登录