论文

解析器状态已经知道:结构化生成的结构条件 KV 持久性

Parser States Already Know: Structure-Conditioned KV Persistence for Structured Generation

模型推理KV Cache

摘要

结构化生成支持生成 JSON、SQL 和函数调用的 大语言模型 (LLM) 代理,其中单个错误字段可能会导致下游操作失败。约束解码已经跟踪解析器转换以强制形式有效性,并且这些转换揭示了生成的标记如何参与模式关键决策,例如活动语法下的必需字段、参数和结构边界。现有的 KV 压缩很大程度上未使用该与任务相关的结构信号。我们引入了 PASK(解析器感知结构 KV 持久性),它将解析器派生的结构转变为特定于层组的 KV 持久性决策。 PASK 通过使用任务错误敏感性来设置最小保护底线和注意力输出失真来分配剩余 KV 容量,解决模型侧 KV 敏感性与任务级结构化风险之间的不匹配问题。离线校准阶段将这些信号编译成持久性策略,只留下轻量级结构条件查找在线。在目标总 KV 预算为 0.33 的情况下,PASK 在 Qwen3-4B 上的 8 个 BFCL 非实时和实时子类别中平均比最强压缩基线高出 17.39 个百分点。在端到端服务中,PASK 的吞吐量提高了 2.2 倍,TPOT 降低了 3.3 倍,同时使用了 Full KV 峰值 GPU 内存的 0.53 倍。