用于文本、知识图和超图的原生 Transformer 建模的标记关联结构

文本、知识图和超图都具有在关系实例中发挥不同作用的元素，当数据被展平为标记序列时，结构会丢失。我们引入了标记关联结构（LIS），这是一种统一表示，将每个端点编码为 $(x_d, s, e)$：内容 $x_d$、角色或槽 $s$ 以及该角色出现的关系实例 $e$。由于每种数据类型都映射到相同的 $(x_d, s, e)$ 表示形式而无需展平，因此单个标准转换器可以本机处理它们，结构差异完全由运算符而不是体系结构承担。 LIS 通过组合槽运算符和实例运算符 $A(s,e) = R_s R_e$ 为每个端点分配结构地址。我们描述这种因式分解何时为每个词元提供唯一的、与路径无关的地址。当它发生时，比较端点 $j$ 和端点 $i$ 的自然算子是相对传输 $P_{j\to i} = A_i^{-1} A_j$，它在不强加任意序列顺序的情况下给予注意角色和关系感知的归纳偏差。 “位置项加关系项”形式的加法编码可能会丢失共同依赖于 $s$ 和 $e$ 的信息。我们在一个受控示例系列中证明了这一点：当旅程运算符通过仅位置项和仅关系项的总和进行近似时，近似无法捕获位置和关系如何组合，只能捕获它们单独的效果。我们还分析持久性知识库。与存储位置相关的标识符使模型对存储顺序敏感，而随着存储库大小 $M$ 相对于样本大小 $n$ 的增长，自由学习的标识符可能会变得更难以控制。在固定的架构和 Lipschitz 假设下，根据内容计算关系实例运算符可以避免这种存储顺序问题，并产生独立于 $M$ 的容量限制。