通过卡尔曼滤波、克里格法和过程噪声进行精确跟踪的 Transformer

Transformer 是现代人工智能的基础构建块，但没有提供对 \emph{不确定性} 的原则性处理，这在实际应用中很普遍：顺序推荐中具有稀疏历史的冷启动词元、语言模型中的异构信号质量以及不受约束的 softmax 引起的注意力下沉。每个词元都受到统一的置信度处理。我们证明这种均匀性是 \emph{贝叶斯过滤 Transformer} (BFT) 的退化情况：注意力变成精度加权克里金法，残差连接变成具有自适应增益的卡尔曼更新，FFN 变成通过雅可比加过程噪声规则传播精度的动力学模型。观测精度来自具有共轭贝叶斯先验的无参数限制最大似然 (REML) 估计器。 BFT 取代了任何 Transformer 层，开销可以忽略不计。在顺序推荐方面，应用于三种主要架构的 BFT 在六个基准上产生了显着的收益，其中对冷启动用户和不确定性最高的稀有项目的改进最大。在带有噪声数据的 大语言模型 的监督 微调 上，BFT 提高了两种机制的鲁棒性：噪声监督（问答中的标记标签损坏）和噪声上下文（带有真实 RAG 干扰项的检索增强 QA）。一个原则性的修改——恢复精度——在经典序列建模和现代 LLM 体系中释放了巨大的空间。