论文
Moebius:0.2B轻量级图像修复框架,10B级性能
Moebius: 0.2B Lightweight Image Inpainting Framework with 10B-Level Performance
摘要
虽然 10B 级工业基础模型已经突破了图像修复的界限,但其高昂的计算成本严重阻碍了实际部署。构建高度优化的特定任务专家提供了一个有前途的解决方案;然而,极端的结构压缩不可避免地会引发严重的表示瓶颈。为了克服这个问题,我们提出了 Moebius,一种高效的轻量级修复框架。我们通过引入 Local-$λ$ Mix Interaction ($LλMI$) 块来系统地重建扩散主干。它由 Local-$λ$ 和 Interactive-$λ$ 模块组成,优雅地将空间上下文和全局语义先验总结为固定大小的线性矩阵,保留复杂的潜在交互,同时大幅减少参数。此外,为了释放这种高度紧凑的架构的全部表示能力,我们将其与自适应多粒度 蒸馏 策略协同配对。该策略严格在潜在空间内运行以避免昂贵的像素空间解码,动态平衡多个基于梯度的损失以实现高保真对齐。跨自然和肖像基准的大量实验表明,这种最佳协同作用使 Moebius 能够媲美甚至超越 10B 级工业通才 FLUX.1-Fill-Dev 的生成质量。值得注意的是,Moebius 使用不到 2% 的参数(0.22B 与 11.9B)实现了这一目标,同时总推理时间加速了 $>15\times$,为高保真修复设定了新的效率标准。项目页面位于 https://hustvl.github.io/Moebius。