本地化 LoRA-MoE：具有自适应路由的分块低秩专家

大语言模型 (LLM) 和高维感知网络越来越依赖参数高效的 微调 (PEFT) 来适应不同的操作环境。然而，像 LoRA 这样的标准方法在结构上受到单一瓶颈的限制，使得它们非常容易受到梯度战的影响。交错的多任务流可能会触发破坏性的优化反馈，将适配器权重压缩为非专门的平均值。虽然最近的空间分区方法引入了块隔离，但它们仍然陷入静态拓扑中，无法适应动态任务切换或环境传感器故障。在这项工作中，我们引入了 Localized LoRA-MoE，这是一个统一的框架，它将局部空间阻塞与动态、上下文条件路由融合在一起。我们提出并评估了两种新颖的架构范例：Block-Wise LoRA-MoE（集中式宏路由），它通过整体上下文信号调制整个结构网格；Cell-Wise LoRA-MoE（分散式微路由），它为矩阵网格中的每个坐标单元提供自主的、本地化的专家门控。通过一套全面的基准测试，从高维 SVD 矩阵模拟和现实世界的表格转换到传感器退化下的空间视觉感知，我们证明两种架构都解决了静态基线中固有的优化死锁。我们的实证结果表明，去中心化的单元级门控与无所不知的全球协调器实现了完全的统计对等，提供了强大的“梯度防火墙”，可以保护幸存的路径免受错误传播的损坏。我们的建议始终优于静态基线，为跨粒度坐标域和不断变化的操作机制的动态模型适应提供可扩展且参数高效的解决方案。