论文
从注意力掩码到惰性零向量token:面向token动力学的OAttention与O-Closure
From Attention Masks to Inert Zero-Vector Tokens: OAttention and O-Closure for Token Dynamics
摘要
注意力掩码是关系级控制:它规定哪些查询—源对可以交互,但不提供一种在注意力边界处不参与、由表征携带的token状态。我们为每个token隐载体h_i赋予一个活跃在场系数p_i=||h_i||²/(τ+||h_i||²)。同一系数承担两个角色:它门控token i发出的信息,并决定token i以多大质量进入与其他token共享的计算。OAttention是这一规则的支撑耦合注意力实现:在保留标准打分、可见性关系、指数竞争和值聚合的同时,它用p_i门控接收端输出,并在注意力分子与分母中用p_j为源j加权。这使零向量token成为零元素,并产生精确的空接收端插入、空源插入、自注意力插入和空支撑性质。同一token级在场性还给出局部O组件(OFFN、ONorm和OInject)、按在场加权的OStandardize、O-Closure定律M(H⊕0)=M(H)⊕0,以及经残差与组合闭包得到的OTransformer。该规范算子经契约测试和GPU评估检验。在对一个克隆的预训练TabPFN v3回归器做零微调改造中,校准的隐载体OAttention与Full-O变体在18个匹配的数据集—种子案例上分别使平均RMSE变化+0.088%和+0.177%。两块消融显示,仅OAttention本身不能让NULL状态穿过普通宿主组件而保持,OTransformer路径则可以。这些是对精确性、活跃路径兼容性与组合必要性的限定范围测试;它们并未确立普适的无损、任意宿主上的闭包、对原点的习得吸引,或缺失值的一般语义。