论文

Aperture:压缩词元的合并一致旋转状态

Aperture: Merge-Consistent Rotary States for Compressed Tokens

上下文与知识上下文工程

摘要

词元压缩组合了来自多个位置的内容,而旋转位置嵌入通常为合并的词元分配一个坐标。我们询问哪些位置信息必须在以后的合并中保留下来。 Aperture 存储模型旋转频率下词元加权支撑的傅里叶矩。我们证明这些力矩在连续状态中具有足以选定的预期旋转相互作用的最小实际尺寸。代表质量使更新具有累加性;注意力标准化仍然是一个单独的读出选择。均匀间隔给出中心旋转乘以 sinc 增益。我们描述中心何时决定间隔宽度,并在中心不决定间隔宽度的情况下构建匹配的示例。数值检查验证加权支持的实现。在训练有素的时间读取器中,压缩传输随增益校准和特征放置而变化。在预先指定的本机视频问答比较中,存储支持的准确度达到 $65.63\%$,而部署的合并规则的准确度为 $67.12\%$。这些结果将压缩下的精确位置保留与下游效益分开。