Agentic AI工作流对系统架构的影响

Agentic人工智能正在数据中心中涌现，但其架构的潜在影响尚未得到探索。我们组织了agentic工作流并以生产研究在微软Azure和开源框架的控制性研究为基础进行第一次架构化描述。我们展示了agentic执行是碎片化的且多样化。请求扩展到LLM推理、工具调用和调度决策，这些决策反复跨越CPU-GPU边界。我们的分类法解释了这种碎片化如何导致资源需求。当调度和工具运行在主机上时，CPU位于关键路径上。执行结构决定了时间内的负载，这保持低且突然出现高峰。模型组合决定如何均匀地使用GPU。任务的多样性以及工具的多样化进一步扩大了这一范围。这些特性暴露了传统统一服务器中的架构不匹配。尽管需求波动，但碎片化的执行使CPU和GPU资源能力分散。不同的软件角色使得对同质化CPU的提供变得无效。最后，将许多代理分配到共享核心上会降低微架构局部性。根据我们的发现，我们推导出agentic服务器的影响，并通过Agora，我们的原型服务器来研究它们。Agora动态地从闲置的核心中捕获带宽以支持本地化的工作负载，同时保护agentic尾部延迟不受工具冲击的影响。它超额订阅GPU内存，将更多的代理分配到每个GPU上，预取下一个代理的状态以隐藏交换延迟。为了匹配机器的异构角色，Agora根据角色动态地池化核心并应用亲和性调度来恢复局部性。它自动调整机制以适应工作负载。Agora提高了利用率和服务器吞吐量，同时保留了agentic尾部延迟。我们的见解还指出了未来agentic服务器架构的关键方向。