张量内存：长视野的固定大小循环状态 Transformer

Transformer 通过将空间和时间扁平化为长词元序列来处理图像和视频。虽然注意力和 KV 缓存保留了过去的特征，但它们的记忆随着序列长度而增长，并且缺乏明确、持久的空间状态，使得长视域视频理解和遮挡敏感推理变得困难。我们提出了 Tensor Memory，这是一个轻量级模块，它使用固定大小的循环 3D 内存张量来增强 Transformer 块：词元通过可微分软写入写入体素网格，将内容作为高斯加权体积存储在预测的连续 3D 位置周围，内存使用高效的局部交互算子和门控循环动态进行更新，词元通过门控残差融合的连续采样读回上下文。由于内存张量具有恒定的大小，因此张量内存将状态容量与输入长度解耦，同时保留空间归纳偏差。我们根据标准语言、图像和视频基准以及旨在隔离持久状态何时有益的受控玩具诊断套件来评估该模块；它与标准 Transformer 训练管道集成，可以附加到现有模块或从现有模块中删除，而无需进行其他架构更改。