论文
用于 3D S-NUCA 众核上热感知和内核感知 LFM 推理的主动模仿学习
Active Imitation Learning for Thermal- and Kernel-Aware LFM Inference on 3D S-NUCA Many-Cores
摘要
大型基础模型 (LFM) 推理是内存和计算密集型的，传统上依赖于 GPU。然而，有限的可用性和高成本促使人们采用高性能通用 CPU，特别是新兴的 3D 堆栈静态非均匀缓存架构 (3D S-NUCA) 系统。这些架构提供增强的带宽和局部性，但由于 3D 片上网络 (NoC)，因此面临严峻的热挑战和不均匀的缓存延迟。由于 LFM 内核多样性和系统异构性，线程迁移和 V/f 缩放的优化管理并非易事。现有的热管理方法往往依赖于过于简化的分析模型并且缺乏适应性。我们提出了 AILFM，这是一种基于主动模仿学习 (AIL) 的调度框架，它以最小的运行时开销从 Oracle 演示中学习接近最优的热感知调度策略。 AILFM 考虑了 LFM 中的内核级性能异构性和内核特定行为，以在保持热安全性的同时最大限度地提高性能。大量实验表明，AILFM 的性能优于最先进的基线，并且在不同的 LFM 工作负载中具有良好的泛化能力。