开源项目
facebookresearch/tuna-2:以像素嵌入替代视觉编码器的官方实现
facebookresearch/tuna-2
概述
tuna-2 是 Facebook Research(Meta)发布的官方实现,核心做法是以像素嵌入替代传统视觉编码器,让模型直接从像素层面构建视觉表征,而不是依赖独立的编码器模块。这一路线对主流「视觉编码器加语言模型」的多模态架构是一次有对照价值的尝试,官方开源实现便于外部团队复现验证。仓库已单独建立,适合从事视觉表征与多模态架构研究的团队作为复现与改进的起点。