反思深度：语音识别递归-Transformer的研究

基于 Transformer 的架构带来了自动语音识别 (ASR) 的显着改进，但通常以大幅增加模型大小为代价。解决此问题的一种有前景的方法是通过深度递归进行层共享，通常称为 Recursive-Transformer，其中涉及在模型中重复应用相同的层。尽管该技术在其他领域显示出潜力，但在 ASR 领域仍然相对未经探索。在本文中，我们提出了应用于 ASR 编码器架构的 Recursive-Transformer 的实验研究。我们系统地研究了基于递归的 Transformer 中递归深度和层分配的影响。我们的结果表明，Recursive-Transformer 是一种可行的替代方案，特别是当在循环数量有限的潜在空间中应用递归时，可以获得相当的性能，同时将参数数量减少 66%。