NeuroGame Transformer：由博弈论与统计物理驱动的Gibbs启发式注意力

transformer中的标准注意力机制受限于其成对表述，难以建模token之间的高阶依赖。我们提出NeuroGame Transformer（NGT），通过双重视角重新概念化注意力来克服这一局限：token既被视为合作博弈中的玩家，又被视为统计物理系统中相互作用的自旋。token重要性用两个互补的博弈论概念来量化——Shapley值用于全局的、基于排列的归因，Banzhaf指数用于局部的、联盟层面的影响。二者通过可学习的门控参数组合成外磁场，同时成对交互势能刻画协同关系。系统能量遵循Ising哈密顿量，注意力权重作为Gibbs分布下的边缘概率出现，并通过平均场方程高效计算。为在指数级联盟空间下保证可扩展性，我们开发了带Gibbs分布权重的加权重要性蒙特卡洛估计器。该方法避免了显式的指数因子，保证了长序列下的数值稳定性。我们提供了理论收敛保证，并刻画了由插值参数支配的公平性-敏感性权衡。实验结果表明，NeuroGame Transformer在SNLI和MNLI-matched上取得强劲表现，优于若干主流高效transformer基线。在SNLI上，其测试准确率达86.4%（验证准确率峰值86.6%），超越ALBERT-Base，并与RoBERTa-Base保持高度竞争力。代码已发布于 https://github.com/dbouchaffra/NeuroGame-Transformer。