论文
面向多智能体系统的工作负载感知缓存
Workload-Aware Caching for Multi-Agent Systems
摘要
多智能体系统把复杂任务分解为专职智能体执行的有向无环图(DAG),为跨查询缓存中间结果创造自然机会。但现有缓存逐出策略基于访问历史一视同仁地对待所有缓存条目,忽视智能体执行环境中独有的结构与工作负载信号。我们提出一个工作负载感知的逐出策略:把重计算成本、DAG依赖数与智能体调用频率三个信号组合进统一打分函数,在内存约束下保留最有价值的条目。在横跨多样复用regime的三个多智能体基准上评估:该策略相对无缓存基线把延迟最多降低64.7%,较次好的有限容量基线平均降低31.1%延迟,同时逼近无界缓存的表现,准确率与所有竞争的有限容量方法持平或更优。我们进一步证明工作负载感知的内容缓存与其他智能体系统优化方法互补——包括计划级缓存与并行智能体执行——各自针对多智能体管线中不同的效率瓶颈。
