SHARP：基于睡眠的分层加速重放，用于长距离非平稳时间模式识别

学习远程非平稳时间模式仍然是现代序列模型的核心挑战，特别是在严格的流设置中。在这些设置中，数据按顺序到达，并且必须一次性处理，而无需同时重新访问过去的观察结果。标准架构（包括循环神经网络和 Transformer）受到时间范围内的截断反向传播或用于长范围贡献分配的显式输入窗口长度的限制。为了解决这些限制，我们提出了 SHARP（基于睡眠的分层加速重放），这是一个将时间学习分解为两个互补组件的框架：一个积累过去输入的结构化历史的记忆模块，以及一个对该记忆进行操作的模式识别模块。这种分离消除了远程贡献分配的多个步骤中随时间反向传播的需要，从而实现了对非平稳动态的资源和计算高效适应。受到啮齿动物在慢波睡眠期间观察到的加速重放的启发，SHARP 结合了离线（睡眠）阶段，其中时间结构化的记忆痕迹以加速形式重放并集成到更高级别的记忆表示中，从而改善了远程上下文保留。通过受控模拟和消融研究，我们描述了所提出框架的关键特性。在 text8 和 PG-19 等基准数据集中，我们证明了 SHARP 通过保留先前见过的数据的下一个标记预测性能，同时继续从当前流中学习并推广到未来未见的数据，从而改进了循环基线。这些收益是通过其分层结构实现的，该结构仅以线性时间计算成本即可产生指数级增长的有效时间上下文。