llm-d 1.0交付稳定路由API与多租户、分离式推理运维工作流
llm-d v1.0.0 Release
概述
llm-d v1.0.0把分布式大模型服务推进到路由配置API v1和组织组件版本对齐的正式交付阶段。此次不仅调整版本号:Release围绕多租户服务质量、路由高可用、预填/解码协调升级和Agent多轮会话部署提供同一套可部署配置。代码采用Apache-2.0许可,固定标签源码、模型服务部署清单、Helm配置及发布测试矩阵可读。 多租户流控把饱和时的请求先留在路由端,再按优先级、租户公平和流内顺序选择,避免过早锁入某个模型服务器队列。固定示例通过flowControl启用,使用并发检测、轮询公平、队列容量与TTL;系统默认公平策略仍模拟旧全局先来先服务,不能声称升级后自动为所有租户公平分配。租户与优先级请求头应由可信上游注入,不能相信外部调用方自行声明。 预填/解码部署改以DisaggregatedSet组织版本,按修订标签让同一请求的两个阶段匹配,配合就绪门禁和排空,降低滚动升级时KV连接不兼容或错配风险。固定操作指南要求LeaderWorkerSet至少0.11.1并启用DisaggregatedSet,推荐1.0;路由修订筛选仍是Alpha插件,须显式允许。没有同时具备所有必需角色的可用版本时返回503;预填块尚未取走时的排空仍靠preStop等待缓解,因此不能承诺任意负载和配置绝对零停机。 同次发布还声明路由热备、Responses API的previous_response_id和会话状态/亲和机制,属于多轮模型服务基础。运行需要Kubernetes、相应Gateway/InferencePool与llm-d CRD、模型服务器和合适加速器及模型访问权限;固定流控GPU示例为Qwen3-32B、2副本、每副本2卡,其他后端配置不同。部分自建推理镜像被弃用并转向上游镜像,不能把全部组件都解释为相同成熟度或同一个镜像。 本条记录正式1.0服务控制与运维工作流的整体交付,不按模型、后端或硬件表格另拆事件。本次核验固定源码和官方材料,未部署集群或复跑吞吐/端到端测试;官方发布矩阵仍应按实际选用的部署路径逐项查看。