表征基于 GPU 的 LLM 服务系统中的软件老化

本文提出了一种研究基于 GPU 的 LLM 服务系统中软件老化的实证方法。传统的老化研究侧重于以 CPU 为中心、工作负载相对规律的软件； LLM 服务有所不同，它跨越 Python 主机和 CUDA 设备，处理成本各不相同的请求，并依赖于快速发展的软件堆栈。我们在相同的压力条件下在六个同地部署中运行了 216 小时的活动，并行监控主机、设备和客户端指标，并应用考虑自相关和多重测试的统计管道。我们的结果显示，所有部署中的内存老化具有统计显着性，泄漏率很大程度上取决于服务运行时和部署配置。除了这些发现之外，我们还提供了一个可重复的框架，该框架在软件老化和复兴以及 LLM 服务社区的交叉点上开辟了一个研究方向。