用于高效边缘云视觉语言模型的渐进式语义通信

在边缘设备上部署视觉语言模型 (VLM) 仍然具有挑战性，因为其大量的计算和内存需求超出了资源受限的嵌入式平台的能力。相反，在带宽有限的环境中，将推理完全卸载到云端通常是不切实际的，因为传输原始视觉数据会带来大量的延迟开销。虽然最近的边缘-云协作架构试图跨设备划分 VLM 工作负载，但它们通常依赖于传输固定大小的表示，缺乏对动态网络条件的适应性，并且无法充分利用语义冗余。在本文中，我们提出了一种用于边缘云 VLM 推理的渐进式语义通信框架，使用元自动编码器将视觉标记压缩为自适应、渐进可细化的表示形式，从而无需额外的 微调 即可使用现成的 VLM 进行即插即用部署。这种设计允许在不同的信息级别上灵活传输，在通信成本和语义保真度之间提供可控的权衡。我们实施了完整的端到端边缘云系统，包括嵌入式 NXP i.MX95 平台和 GPU 服务器，通过带宽受限的网络进行通信。实验结果表明，在1 Mbps上行链路下，与全边缘和全云解决方案相比，所提出的渐进式方案显着降低了网络延迟，同时即使在高压缩下也能保持高语义一致性。实现代码将在 https://github.com/open-ep/ProSemComVLM 发布后发布。