用于结构化多轴组合的旅程运算符

许多类型的数据都具有沿着一个或多个轴的结构：句子中的单词、图像中的像素、树中的节点、音频中的帧或 3D 体积中的单元。沿着一条轴线，顺序很重要：“狗咬了人”与“人咬了狗”不同。然而，在独立的轴上，构图和移动都不应该依赖于轴的顺序：在图像中，先向右然后向下构图应该给出与先向下然后向右构图相同的结果，向右然后向下移动应该描述与向下然后向右移动相同的相对位置。我们开发了一个用于建模这种多轴结构的框架。每个数据项都携带其内容以及每个轴的小型转换。连接两个位置的路径定义了一个旅程；旅程运算符是沿该路径的每轴转换的产物，控制数据沿路径的组合方式以及相对位置的描述方式。当变换固定后，我们的框架恢复旋转位置嵌入（RoPE）及其多维变体。当它们依赖于数据时，模型获得内容自适应位置归纳偏差。我们准确地展示了这些路径何时被明确定义：当轴变换交换时，跨轴的组合和运动都是路径独立的。我们还证明，在规定的 toral-frame 对称性、余循环、双线性和范数保留假设下，所得的成对评分规则必须采用块式旋转的形式，这解释了为什么类似 RoPE 的方法自然出现。最后，我们利用这一理论设计了 JoFormer（一种价值聚合模型），并将其与注意力模型和状态空间模型（SSM）联系起来。视觉、语言和长度概括的初步实验表明，这些归纳偏差在实践中可能会产生明显的后果。