变分注意力（VIA）：为科学量身定制的注意力问题

Attention 通过使用 softmax 标准化的查询键评分来实现上下文建模。在工业长上下文需求的推动下，主流研究已趋向于稀疏性和效率——但 Softmax 的独立性假设仍然存在。然而，对于不受长词元约束负担的科学任务来说，更丰富的结构化耦合通常可能是必要的，这使得定制的注意力既可行又更合适。为此，我们提出了 Variational-Ising-Attention (VIA)，它通过交互的 Ising 模型增强了 softmax 归一化；注意力模式通过变分平均场推理从可学习的成对耦合中产生，将注意力从孤立项目的排名重新定义为交互实体的集体状态。我们在逆合成反应中心预测上实例化了 VIA，这是一项本质上受合作键断裂约束约束的任务。跨模型变体的综合实验与机制分析相结合，表明 VIA 始终且显着优于标准的 softmax 注意力。更广泛地说，我们的研究结果表明，对于科学问题，最佳解决方案不是通用效率，而是与内在领域结构相一致的适当定制的注意力。这项工作提供了该范式的理论基础和经验验证的实例。