以词元空间压缩加速受限解码

为保证LLM的输出符合指定结构，上下文无关文法（CFG）解码引擎强制选择能生成符合给定CFG字符串的下一词元。尽管当前的CFG受限解码引擎已高度优化，但由每步巨大的搜索空间（即整个词表）带来的固有开销，使得面对更复杂的CFG时代价高得难以承受——而这恰恰是CFG引擎最有用武之地的场景。本文提出CFGzip，一种离线压缩词元搜索空间的技术，可大幅降低CFG引擎的开销。实验显示，CFGzip与SoTA文法引擎配合使用时，延迟最多降低两个数量级，受限生成总时间最高提速7.5倍：有了CFGzip，复杂CFG下的受限解码现已可规模化实施。