通过扩散框架实现逼真且高效的散景渲染

现有的移动设备受到紧凑光学设计（例如小光圈）的限制，这使得难以产生自然、光学逼真的散景效果。尽管最近基于学习的方法已经显示出有希望的结果，但它们仍然难以处理在高数字变焦级别下拍摄的照片，这些照片通常会出现分辨率降低和精细细节丢失的问题。一个简单的解决方案是在应用散景渲染之前增强图像质量，但这种两级管道会降低效率并引入不必要的错误积累。为了克服这些限制，我们提出了 MagicBokeh，这是一个基于扩散的统一框架，专为高质量和高效的散景渲染而设计。通过替代训练策略和焦点感知蒙蔽注意机制，我们的方法联合优化了散景渲染和超分辨率，显着提高了可控性和视觉保真度。此外，我们引入了退化感知深度模块，以便能够根据低质量输入进行更准确的深度估计。实验结果表明，MagicBokeh 可以有效地产生逼真的散景效果，尤其是在现实世界的低分辨率图像上，为散景渲染的未来进步铺平了道路。我们的代码和模型可在 https://github.com/vivoCameraResearch/MagicBokeh 获取。