问自己，问别人：关系就是你所需要的一切

注意力在词元混合中占主导地位，但它将关系形成和流量分配分解为单个分数到流量步骤。我们引入关系，它通过首先将成对证据组织成明确的自体和交换关系，然后导出信息流来将它们分开。关系首先决定一个词元是应该依赖它自己还是从它的历史中汲取，如果从历史中汲取，到哪里去寻找。这种关系组织产生了全关系、Flash关系、线性关系和混合关系。在仅匹配的解码器模型中，Full Relation 实现了比 MHA 更低的平均最终验证 NLL，并以少 4.5-7.3% 的标记达到配对 MHA 最终训练损失。结构诊断进一步表明，Relation 学习了一种独特的深度组织：第一层充当当前词元锚点和高级路由器，而后面的层则强烈转向历史。在固定上下文参考基准中，FlashRelation 比具体化的 Full Relation 实现快 4.17-5.28 倍。在规模匹配的生产工作负载中，在执行精确的 Full Relation 运算符时，它达到了 PyTorch FlashAttention 吞吐量的 89.7-92.9%。混合关系演示了完整关系层和线性关系层可以在单个解码器内组成。这些结果支持词元混合的关系优先视图：询问自己，询问其他人，然后让 Flow 遵循 Relation。