FAAST：通过封闭式快速权重进行仅前向关联学习，用于测试时监督适应

调整预训练模型通常涉及反向传播的高训练成本与基于内存或上下文学习的繁重推理开销之间的权衡。我们提出了 FAAST，一种仅前向关联适应方法，可在一次传递中将标记示例分析性地编译为快速权重。通过消除内存或上下文依赖性，FAAST 实现了恒定时间推理，并将任务适应与预训练表示解耦。在图像分类和语言建模基准测试中，FAAST 匹配或超过基于反向传播的自适应，同时将自适应时间减少了 90% 以上，并且与基于内存/上下文的自适应具有竞争力，同时节省了高达 95% 的内存使用量。这些结果表明 FAAST 是一种高效、可扩展的监督任务适应解决方案，特别是对于资源受限的模型。我们在 https://github.com/baoguangsheng/faast 发布了代码和模型。