论文
CIAR:基于间隔的协作解码,用于图像生成加速
CIAR: Interval-based Collaborative Decoding for Image Generation Acceleration
摘要
自回归(AR)模型最近在图像生成方面取得了显着进展,其性能可与基于扩散的方法相媲美。然而,它们的计算强度和顺序性质阻碍了设备上的部署,导致破坏性的延迟。我们通过云设备协作框架 \textbf{CIAR} 来解决这个问题,该框架利用设备上的自我验证来处理视觉合成的两个关键属性:高保真图像所需的 \textit{大量词元词汇} 和 \textit{固有的空间冗余} ,这导致同质区域中的极端可预测性,而对象边界表现出高度的不确定性。统一验证在这种冗余词元上浪费了资源。我们的解决方案以设备上的词元不确定性量化器为中心,它采用连续概率区间来加速处理,并使其适用于大型视觉词汇表,而不是传统的离散解决方案集。此外,我们还采用了间隔增强解码模块,以进一步加快解码速度,同时通过分布对齐训练策略保持视觉保真度和语义一致性。大量实验表明,与现有方法相比,CIAR 实现了 2.18 倍的加速并减少了 70% 的云请求,同时保持了图像质量。