论文
基础模型辅助随机接入网络的多 Agent 强化学习
Foundation Model-Aided Multi-Agent Reinforcement Learning for Wireless Random Access Network Optimization
摘要
随机接入（RA）是最基本的媒体访问控制（MAC）层调度方案之一，用于处理来自多个终端的不可预测的数据流量。虽然多智能体强化学习 (MARL) 已被探索用于优化基于 RA 的无线网络，但其对经验驱动的分布式策略学习的依赖会给每个优化任务带来大量的训练开销，从而限制了其在实际应用中的可行性。在这项工作中，我们建议利用基础模型 (FM) 来提高跨不同 RA 网络优化任务的 MARL 效率。具体来说，我们在基于共识的去中心化 MARL 架构中设计了一种 FM 辅助的 执行模型-critic 算法，并在局部奖励交换和非线性价值函数近似下提供其收敛分析，以表明我们的算法通过批评模型交换和线性近似实现了与传统 MARL 相同的收敛阶。我们的数值结果表明，我们基于 FM 的方法显着提高了 RA 网络优化的 MARL 速度。
