开源项目

SGLang以完整内容身份约束多模态缓存,避免复用其他媒体的KV

[Fix] multimodal: Preserve strong identities across VLM caches (#47120)

模型推理模型评测KV Cache鲁棒性、公平性与可信度评测

概述

SGLang提供大模型及多模态推理执行与服务。 此次变化前,短标量、元组散列或调用方提示可碰撞,部分媒体占位符相同也可能复用不相关的视觉KV。 本次交付:CPU/GPU采用类型、形状、内容及元数据绑定的完整摘要,并把身份贯穿嵌入缓存、批内去重、会话和原生sidecar。 使用条件与边界:显式trust-mm-content-hashes仍是独立信任边界;本次不覆盖扩散条件缓存,也不声称统一加速。