论文

PassNet:扩展大语言模型用于图编译器Pass生成

PassNet: Scaling Large Language Models for Graph Compiler Pass Generation

模型评测基准与评测资源

摘要

诸如TorchInductor之类的现代张量编译器在主流模型上带来显著加速,但在长尾工作负载上面临系统性的性能天花板——我们的性能剖析显示,43%的真实世界子图在默认编译下出现端到端变慢。尽管LLM为自动化优化提供了路径,现有工作仍聚焦于独立的kernel生成。我们认为pass生成——即LLM编写可直接集成进编译器管线的结构化图变换——是更合适的抽象层。我们提出PassNet,首个面向基于LLM的编译器pass生成的大规模生态,包括:(1) PassNet-Dataset,来自10万真实模型的超过1.8万个不同计算图;(2) PassBench,200个精选的长尾可融合任务(共2,060个子图),在错误感知加速得分(Error-aware Speedup Score,ES_t)——一个统一正确性、稳定性与性能的指标——下评估,并配备针对LLM系统性钻空子的分层完整性防御。实验揭示PassBench既有高度区分度又确实未饱和:最佳前沿模型总体落后TorchInductor 37%,但在单个子图上LLM相对同一编译器可实现高达3倍加速——表明瓶颈在于一致性而非能力。仅用约4千条PassNet轨迹微调一个小模型即可带来2.67倍改进、逼近前沿模型性能,展示了可观的空间,并验证PassNet作为推进LLM驱动编译器优化的持续训练基础设施的价值。所有数据、基准与工具均已公开。

PassNet:扩展大语言模型用于图编译器Pass生成:论文配图
图1:PassNet数据集构建流程:收集并过滤真实模型计算图,经递归图切分与元数据泛化生成层级化训练子图。