Mentored Decoding：连接有损投机解码与提升理论

投机解码利用快速草稿模型加速目标自回归语言模型的推理。有损投机解码允许输出相对目标分布发生偏移，以进一步提速。实验还观察到，所得模型的质量也可能超过目标模型。本文以称为指导解码（mentored decoding）的形式化方法证明这种现象如何成立：把推理连接到机器学习的提升（boosting）理论，并将指导解码推广到全部f散度。研究揭示三个性质：总变差情形具有特别有用的几何结构；对任意f散度，可给出与满足提升理论条件直接相关的简单近似；利用草稿和目标输出，可构建不依赖具体散度的数据结构，其空间为O(n)、构建时间为O(sort(n))。对任意f散度，该结构可在O(log n)时间查询对偶问题的最优参数，并在O(n)时间构造最优指导分布。