EPIC：扩散语言模型 CFG 约束下的高效并行推理

控制语言模型输出对于确保结构有效性、可靠性和下游可用性至关重要，扩散语言模型也不例外。扩散语言模型解码的最新进展已将输出控制从常规约束扩展到上下文无关语法（CFG）约束。然而，先前的 CFG 约束解码器可能比无约束解码器慢四倍，迫使在 CFG 约束的正确性优势和扩散模型的解码效率之间进行权衡。这种开销的一个关键来源是顺序有效性检查，这限制了并行词元承诺并增加了重复验证成本。我们提出了 EPIC，一种 CFG 约束的解码框架，旨在改善这种效率与正确性的权衡。为了在不牺牲语法正确性的情况下减少解码开销，EPIC 结合了词法记忆、并行提交的宽松兼容子集选择以及使用 Earley 风格解析而不是确定性自动机进行验证。这种设计使得多个兼容的词元能够一起提交，同时避免重复的词法分析和昂贵的验证。使用四种模型对三个基准进行的实验表明，EPIC 改善了效率与正确性的权衡，使运行时间接近无约束水平，同时保持可比的语法和功能正确性。相对于之前的 CFG 约束解码器，EPIC 的最佳情况推理时间减少了 67.2%。我们的实现可以在 https://github.com/hyundong98/EPIC-Decoding 上找到。