最小最大循环神经级联

我们介绍 MinMax 递归神经级联 (MinMax RNC)，这是一类基于 MinMax 代数的新颖递归形式构建的递归神经网络。我们证明 MinMax RNC 具有难以同时获得的关键属性：强大的形式表达能力、高效的评估、稳定的动态性和不为零的状态梯度。首先，它们的形式表达能力对应于常规语言，可以说是有限内存系统的最大表达能力。其次，除了以循环形式进行评估之外，它们还允许使用对数深度和输入长度的线性功进行并行扫描评估。第三，它们的状态和激活对于所有序列长度都有统一的界限。第四，它们的损失梯度几乎无处不在，并且对于所有序列长度都有统一的界限。第五，它们不表现出状态梯度消失：状态相对于过去状态的梯度可以保持范数一，与状态之间的时间距离无关。根据经验，我们发现这些理论特性可以转化为强大的实际性能。 MinMax RNC 完美地解决了所考虑的合成任务，推广到长序列，并且优于我们实验中考虑的循环基线。我们还训练一个 112M 参数的 MinMax RNC 进行下一个词元预测，获得与其大小相当的性能，并提供 MinMax 递归可以扩展到现实世界序列建模任务的初步证据。