论文
CORE:通过层次边缘上大语言模型智能体的协同编排迈向泛在6G智能
CORE:Toward Ubiquitous 6G Intelligence Through Collaborative Orchestration of Large Language Model Agents Over Hierarchical Edge
摘要
第六代(6G)网络与大语言模型(LLM)的快速进步为泛在智能铺平了道路,其中无缝连接与分布式人工智能(AI)正在改变我们生活的方方面面。然而,实现这一愿景面临重大挑战,因为层次化网络中碎片化、异构的计算资源不足以让单个LLM智能体执行复杂推理任务。为解决该问题,我们提出边缘协同编排角色(CORE),一个创新框架,它采用协同学习系统,将多个各自承担不同功能角色的LLM分布在移动设备与分层边缘服务器上。该系统集成了三个优化模块,涵盖实时感知、动态角色编排和流水线并行执行,以促成分布式智能体之间高效快速的协作。此外,我们提出一种新颖的角色亲和调度算法,用于在层次边缘基础设施上动态编排LLM角色分配,将计算需求与可用的分散资源智能匹配。最后,跨多种6G应用场景的综合案例研究与性能评估证明了CORE的有效性,显示系统效率与任务完成率显著提升。基于这些成果,我们进一步在真实边缘计算平台上部署CORE验证其实用性,其在运行环境中表现出稳健性能。
