PPAI：实现个性化 LLM 代理互操作性以实现协作边缘智能

在边缘设备上部署 大语言模型 (LLM) 可以为各种用户提供个性化的 LLM 代理。多样化个性化代理的可用性不断增加，为点对点 (P2P) 协作提供了独特的机会，其中每个用户都可以将超出本地代理专业知识的任务委托给更适合特定查询的远程代理。本文介绍了PPAI，第一个个性化LLM代理互操作系统，它使用户能够基于代理专业化相互协作。然而，与现有的 P2P 系统相比，不断变化的代理池及其可互换的容量在将查询与代理匹配和平衡负载方面带来了新的挑战。因此，我们提出了一种基于原型的可扩展查询代理对评分机制，以识别具有流失的 P2P 网络中合适的代理。此外，当远程代理负载的变化发生得太快而难以观察时，我们提出了一种多代理互操作性贝叶斯游戏来平衡本地需求和全局效率。最后，我们实现了 PPAI 原型，并证明它大大拓宽了在保持负载平衡的同时可以执行的任务范围。平均而言，与基线相比，它在多个任务中的准确度提高了高达 7.96%，同时延迟减少了 16.34%。