论文
RooflineBench:通过 Roofline 分析实现设备上 LLM 的基准测试框架
RooflineBench: A Benchmarking Framework for On-Device LLMs via Roofline Analysis
摘要
通过小语言模型 (SLM) 向本地化智能的过渡增强了对资源受限的边缘硬件进行严格性能表征的需求。然而,客观地衡量跨异构平台的不同架构的理论性能上限仍然是一个艰巨的挑战。在这项工作中,我们提出了一个基于 Roofline 模型的系统框架,该框架通过操作强度(OI)的视角统一了架构基元和硬件约束。通过定义推理潜力区域,我们引入相对推理潜力作为一种新颖的指标来比较同一硬件基板上 大语言模型 (LLM) 之间的效率差异。跨不同计算层的广泛实证分析表明,性能和 OI 的变化受序列长度的显着影响。随着模型深度的增加,我们进一步确定了 OI 的关键回归。此外,我们的研究结果强调了硬件异构性引起的效率陷阱,并证明了结构改进(例如多头潜在注意力(MLA))如何能够有效地释放跨各种硬件基底的潜在推理潜力。这些见解为硬件-软件协同设计提供了可行的方向,使神经结构与设备智能中的物理约束保持一致。已发布的代码可在附录 C 中找到。