论文
先白平衡,后调整:通过视觉语言评估实现跨相机色彩稳定性
White-Balance First, Adjust Later: Cross-Camera Color Constancy via Vision-Language Evaluation
摘要
颜色恒常性的目的是在不同的光照下保持物体颜色一致。颜色恒定性的跨相机泛化仍然具有挑战性,因为基于学习的模型通常过度拟合训练相机的颜色响应特征,导致其他相机捕获的图像性能下降。我们提出了 VLM-CC,一种反馈引导框架,将颜色恒常性制定为迭代细化过程。 VLM-CC 不是直接根据原始输入估计光源,而是执行由基于视觉语言模型 (VLM) 的评估驱动的迭代校正。在每次迭代中,图像都会使用当前估计值进行白平衡并转换为伪 sRGB。然后,经过 LoRA 调整的轻量级 VLM 会评估校正后的图像,识别主要的残留色偏并提供定性反馈。该反馈被映射到残余照明方向(红色、绿色或蓝色)并用于更新光源估计直到收敛。我们的关键思想是将颜色恒常性重新定义为迭代感知反馈问题,利用 VLM 评估而不是直接 RGB 回归。通过用 VLM 引导的感知反馈取代直接 RGB 估计,VLM-CC 在跨多个数据集的跨相机颜色恒定性方面实现了最先进的鲁棒性。代码可在 https://github.com/NothingIknow/VLM-CC 获取。