用于动态多模式情境学习的任务感知结构化内存

多模态 大语言模型 (MLLM) 依靠上下文学习 (ICL) 来实现快速任务适应，但其可扩展性受到有限上下文窗口和长多模态序列中键值 (KV) 缓存成本不断增长的严重限制。现有的内存压缩方法通常依赖于严格的标记删除或依赖于样本的重要性估计，这会引入偏差，破坏语义结构，特别是对于视觉表示，并产生无法适应新查询的静态内存。我们引入了 TASM（任务感知结构化内存），这是一个 无需训练 框架，它通过任务感知、结构保留和动态可访问的内存构造来解决这些限制。 TASM 采用任务向量引导压缩，用任务级方向替换特定于样本的信号，捕获跨演示的共享相关性。为了保留底层流形，它通过二部图匹配应用语义感知标记合并，聚合标记而不进行破坏性修剪。最后，TASM 将内存构建为由紧凑核心内存和潜在库组成的层次结构，从而促进查询自适应动态检索。评估证实 TASM 在重度压缩下仍能保持高性能，有效平衡效率与适应性。