ZAYA1-VL-8B技术报告

我们推出了 ZAYA1-VL-8B，这是一种基于我们内部语言模型 ZAYA1-8B 构建的紧凑型专家视觉语言模型。尽管尺寸紧凑，ZAYA1-VL 的性能可与 Molmo2-4B 和 InternVL3.5-4B 等领先基础模型相媲美，同时在一系列图像理解、推理和计数基准测试中超越了 Qwen2.5-VL-3B、PLM-3B 和 MolmoE-1B 等模型。该架构融合了两项关键创新：(1) 将视觉特定的 LoRA 适配器集成到 LLM 中，以在不增加专家数量的情况下提高特定模态的容量；(2) 对 LLM 内的图像标记进行双向关注，以增强视觉理解。我们详细介绍了完整的训练流程，包括每个阶段的数据组合、序列打包和注意力屏蔽方案。该模型包含 9.2B 个总参数，其中 1.4B 个活动参数（包括视觉编码器），可在 https://huggingface.co/Zyphra/ZAYA1-VL 上公开获取。