Latent-Lens用轻量编码器和LoRA连接冻结视觉模型与小语言模型

在模块化多智能体系统中桥接独立视觉语言模型 (VLMs) 和小语言模型 (SLM) 通常会迫使它们以离散文本的形式交换信息，这会造成空间和细粒度细节的有损瓶颈。这种限制对于 SLM 来说尤其严重，其有限的容量使其更加依赖于输入信号的质量。最近的潜空间通信方法在语言模型之间交换状态。 但 VLM 如何向独立预训练的纯文本 SLM 传递视觉信息，仍未得到探索。我们提出 Latent-Lens，一种轻量级编解码器，它直接在潜空间中弥合冻结的 VLM 和冻结的 SLM 之间的表示差距，使它们能够纯粹通过隐藏状态进行通信。该编解码器由一个域编码器和一个注意力解码器组成，域编码器将 VLM 的隐藏状态投影到 SLM 的嵌入空间中，而注意力解码器则形式化为 LoRA，指导 SLM 关注这些视觉前缀，同时仅训练 约 160 万个 参数（组合模型大小的 0.2%）。在视觉问答（CLEVR、GQA）上，Latent-Lens 实现了 81.0±7.9% 和 65.4±5.4%，与相同 LoRA 预算的文本通信的 58.3±5.7% 和 61.8±1.0% 相比（相比冻结模型的文本通信基线提升 30.2—69.8 个百分点），而在图像描述 (Flickr8k) 上，它比同一基线提高 16.5，相比冻结基线提高 18.8。我们还使用 TinyLlama-1.1B 和 InternVL2-1B 评估 Latent-Lens，它们使用不同的架构、词汇和隐藏维度。