迈向大模型特征编码

大型模型在广泛的感知和生成任务中提供了卓越的性能，但实际部署越来越受到计算和内存预算以及隐私要求的限制。分割执行通过跨设备划分计算来缓解这些限制，但它不可避免地引入中间特征的密集传输和存储。与通常针对同质空间激活图的 CNN 传统特征编码不同，现代大型模型生成具有不同统计分布和压缩容差的异构特征，例如多级/多模态表示和自回归上下文缓存。这些特征需要将大模型特征编码（LaMoFC）视为基本系统组件，并需要一个系统的评估框架。在本文中，我们提出了 LaMoFC 的综合基准和评估框架。我们首先构建特征数据集 LaMoFCBench，涵盖 4 个类别和 16 个场景的不同任务需求，同时集成广泛采用的架构和各种分割计算设置。然后，我们根据实际应用场景指定有代表性的分割点来提取中间特征，建立统一的管道以进行公平且可重复的比较。最后，我们对主流通用特征编解码器进行了基准测试，揭示了现有编码范式与大型模型特征的异构性之间的深刻不一致。这些发现表明，LaMoFC 要求从根本上背离现有范式，而 LaMoFCBench 提供了共同的经验基础来推动这一转变。数据和代码可在 https://github.com/lartpang/LaMoFCBench 获取。