来自最优控制的 Transformer 式推理

仅解码器 Transformer 根据过去的观察序列计算下一个标记的条件概率。本文从第一原理推导出解决相同预测问题的推理架构，并在此过程中根据最优控制理论恢复类似 Transformer 的层操作。该框架是为两个模型类别开发的：离散值过程的非线性模型，直接由 Transformer 驱动，以及作为易于处理的基线的线性高斯模型。对于这两个模型类别，预测目标被重新表述为最优控制问题，其解决方案产生显式推理算法（双滤波器），其层结构反映了仅解码器 Transformer 的层结构。数值实验提供了最佳控制与经过训练的 Transformer 的注意力权重的比较。这些实验表明，当嵌入维度不足时，Transformer 隐式利用非马尔可夫结构。