混合控制：基于 Transformer 的模型的状态感知 微调

基于状态的 微调 已成为 Transformer 基于权重的自适应的引人注目的替代方案，将轻量级控制更新为状态而不是模型权重，在保持参数效率的同时提供大量内存节省。然而，大多数现有的基于状态的方法通常仅应用每块控制更新，这限制了块间信息交换并限制了表征自适应。同时，支持跨块通信的现有机制通常会引入相当大的计算开销，从而降低了其高效 微调 的实用性。我们引入了混合控制（MoC），这是一个轻量级的 微调 框架，它自适应地集成本地和全局控制信号以增强表示学习。 MoC 将块级控制状态视为稀疏专家混合过程中的专家，从而实现跨 Transformer 块的高效通信。各种基于 Transformer 的基准测试的实证结果表明，MoC 的性能优于基于状态的方法，同时保持了相当的内存和计算效率。