LoopVL：循环视觉智能

我们引入 LoopVL 来研究 Loop Transformers 是否可以有效地扩展到视觉语言模型。 LoopVL 结合了模块循环和模型循环计算，通过共享模块迭代更新统一的视觉语言状态。我们从头开始通过语言预训练、多模态训练和后训练来训练 LoopVL。 LoopVL 在多模态理解和视觉推理基准方面优于一系列类似大小和更大的非循环模型。我们还观察到 LoopVL 中的视觉顿悟时刻，其特征是循环之间视觉注意力的明显变化。 LoopVL 为循环视觉语言建模提供了实际证据，并提供了关于共享参数如何支持在不断发展的视觉语言状态上进行更深入的多模态计算的直观视角。