沙丘社区
论文

RFF-GPA：用随机特征实现线性时间的概率注意力

Random Feature Gaussian Process Attention: Linear-Time Probabilistic Attention with Calibrated Uncertainty

Amir Mohammad Mahfoozi, Zi Yang, Ying Li, Michael Minyi Zhang
模型架构Transformer

摘要

变压器提供了最先进的建模框架，但较差的校准限制了其在安全关键型应用中的可靠性。一个有前途的方向通过将注意力解释为高斯过程（GP）后验来解决这个问题，这使得原则上的不确定性校准成为可能，但由于内核的反转而导致序列长度的三次复杂性；尽管解耦的 GP 变体将成本降低到二次，但在实践中计算仍然令人望而却步。在本文中，我们提出了即插即用的随机傅里叶特征高斯过程注意力（RFF-GPA）模块，它将注意力表示为具有由随机傅里叶特征近似的固定核的GP。这种 低秩 近似会产生近似后验均值和方差的线性时间复杂度，使其比以前的工作更具可扩展性。多个现实世界数据集的实证结果表明，我们的注意力模块在保持预测准确性的同时改进了校准，同时将计算复杂性降低到序列长度的线性。

RFF-GPA：用随机特征实现线性时间的概率注意力：论文原图
图 1：RFF-GPA 概述。 (A) 标准注意力产生确定性 token 表示，而没有明确的不确定性。 (B,D) GP 公式提供后验均值和方差，但精确的 GP 注意力需要昂贵的 token 空间逆。 (C) 随机傅里叶特征提供了平稳核的紧凑近似。 (E) RFF-GPA 在结果特征空间中执行 GP 推理，用 $M\times M$ 逆替换 $L\times L$ 逆，同时保留后验均值和 token 方向的预测方差。