X-CoSD：高效沟通的跨词汇协作 推测解码

本文研究了协作 推测解码 (CoSD)，这是一种分布式 大语言模型 (LLM) 推理框架，其中设备上的小语言模型 (SLM) 起草候选词元，服务器 LLM 验证它们。现有的 CoSD 方法假设 SLM 和 LLM 之间共享词汇表，并会产生大量通信负载，因为残余重采样需要用户设备和边缘服务器之间的词元分配交换。为了解决这些限制，我们提出了跨词汇表 CoSD (X-CoSD)，这是一种针对异构 SLM-LLM 词汇表的无损且通信高效的 CoSD 框架。 X-CoSD建立在混合重采样（HR）的基础上，它在设备上的公共词汇区域和服务器上的仅LLM区域之间分割残差重采样，以便仅公共词汇区域需要分布传输。我们进一步提出了 X-CoSD-E，一种基于带有设备验证的服务器重采样（SR-DV）的增强变体，其中服务器仅发送从服务器 LLM 采样的替换候选者及其相应的概率，以在设备上进行本地验证。我们证明 X-CoSD 和 X-CoSD-E 都保留了服务器 LLM 的分布，并且实验表明它们显着提高了词元生成速度，同时保持了与服务器 LLM 相当的生成质量。