论文
DREAM-S：推测解码 具有可搜索绘图和目标感知细化，用于多模式生成
DREAM-S: Speculative Decoding with Searchable Drafting and Target-Aware Refinement for Multimodal Generation
摘要
推测解码 (SD) 已被证明是加速 大语言模型 (LLM) 自回归生成的有效技术，然而，其在视觉语言模型 (VLM) 中的应用仍然相对未经探索。我们提出~\textit{DREAM-S}，这是一种专门为 VLM 中快速高效解码而设计的新型 SD 框架。 DREAM-S 利用神经架构搜索 (NAS) 框架和目标感知超网训练来自动识别草稿模型和目标模型之间的最佳交互策略，以及最适合底层硬件实现平台的草稿模型架构。 DREAM-S还结合了自适应中间功能蒸馏，由注意力熵引导，以实现高效的选秀训练。对一系列成熟的 VLM 进行的实验表明，与标准解码方法相比，DREAM-S 的加速速度高达 $3.85\times$，并且显着优于现有的 SD 基线。该代码可在以下网址公开获取：https://github.com/SAI-Lab-NYU/DREAM-S。