Kuramoto 振荡相位编码：神经启发同步，提高学习效率

时空神经动力学和振荡同步广泛涉及生物信息处理，并被假设支持灵活的协调，例如特征绑定。相比之下，大多数深度学习架构通过激活值表示和传播信息，忽略了速率和相位的联合动态。在这项工作中，我们将 Kuramoto 振荡相位编码 (KoPE) 作为 Vision Transformer 的附加、不断发展的相态引入，结合神经启发的同步机制来提高学习效率。我们表明，KoPE 可以通过同步增强的结构学习来提高视觉模型的训练、参数和数据效率。此外，KoPE 有利于需要结构化理解的任务，包括语义和全景分割、与语言的表示对齐以及少镜头抽象视觉推理 (ARC-AGI)。理论分析和实证验证进一步表明KoPE可以加速注意力集中以提高学习效率。这些结果表明，同步可以作为一种可扩展的、受神经启发的机制，用于推进最先进的神经网络模型。代码可在 https://github.com/microsoft/Neuro-inspired_Phase_Encoding 获取。