S4oP：资源受限设备的结构化状态空间模型的算子级修剪

结构化状态空间模型 (SSM)，包括 S4 和 S4D 架构，最近已成为基于注意力的模型的强大替代品，用于捕获序列数据中的远程依赖性。尽管它们的实证性能很强，但由于其计算和内存需求，在时间和资源受限的环境中部署这些模型仍然具有挑战性。在本文中，我们为基于 S4 和 S4D 的模型提出了一种新颖的增量式运算符级修剪方法，该方法可显着降低推理成本，同时保持预测性能。据我们所知，这是第一个系统地研究 SSM 的结构化算子剪枝的工作。我们的方法通过将结构化掩码与 微调 交错来逐步修剪模型运算符，同时联合监控准确性和推理延迟。我们在统一的训练和评估框架内实施这种方法，从而能够系统地探索效率与准确性的权衡。跨多个基准数据集的实验表明，在大多数情况下，修剪高达 70% 的模型算子可以保留原始模型的性能，同时大幅减少推理延迟。这些结果表明，结构化算子剪枝是一种有效且先前未经探索的策略，可提高 SSM 的效率并促进其在实际、资源受限的场景中的部署。