PFAdapter：个性化联合 MLLM 的分层 LoRA 分解

智能体AI系统通过部署能够协作学习的自主智能代理，同时维护网络边缘的数据隐私，正在重塑通信和网络。在分布式网络环境中，多模态 大语言模型 (MLLM) 充当边缘设备的认知引擎，但联合 微调 在异构网络条件下平衡全局知识聚合与本地适应方面面临着巨大挑战。传统的联合协议通常依赖于统一的参数聚合，这将域不变的功能与特定于客户端的细微差别混为一谈，从而导致个性化欠佳和通信开销过多。为了应对这些挑战，我们提出了 PFAdapter，这是一种高效通信的框架，引入分层 LoRA 分解，将适配器参数显式分离为全局共享和本地私有组件。查询和关键投影被分配给全局同步，以捕获整个网络中的通用多模态语义，而值和输出投影则保持本地化以进行特定于边缘的适应。此外，基于 Frobenius 范数的正交正则化强制这些组件之间严格分离，防止冗余特征学习。选择性聚合协议仅同步联合网络中的全球共享组件，保留本地专业知识并将通信成本降低近 50%。在 VQA-RAD、SLAKE、Hateful Memes 和 CrisisMMD 数据集上进行的大量实验表明，PFAdapter 的性能始终优于最先进的基线，在各种边缘智能任务中实现了 2.4% 到 4.8% 的准确率提升。因此，我们的框架为资源受限的通信网络中的智能体AI部署建立了有效的解决方案。