论文

Hawk:为高性能NPU内核生成利用硬件感知知识

Hawk: Harnessing Hardware-Aware Knowledge for High-Performance NPU Kernel Generation

摘要

为神经处理单元(NPU)开发高性能内核是关键行业瓶颈——要求开发者手动摸索隐式硬件约束与严格内存层级。虽然大语言模型提供巨大自动化潜力——但因根本缺乏硬件特定先验而在NPU上灾难性失败。从相似NPU内核天真移植代码片段可能通过编译——但会因盲目违反底层硬件约束而持续触发运行时崩溃与性能退化。为克服这一点——我们介绍Hawk——免训练框架——经三个核心模块驾驭硬件感知知识:(1) 运行时知识合成模块——采用三段式可执行知识表示——将错误上下文与可执行语义内在耦合;(2) 瓶颈感知知识检索模块——实现2D检索范式——将查询投影到正交的语法与硬件对齐语义空间;(3) 效果驱动的知识蒸馏模块——利用LLM驱动的语义仲裁——基于经验执行反馈经剪除错误与合并冗余持续蒸馏知识。在真实NPU工作负载上的大量评估表明:Hawk将生成准确率从49.4%提升至80.0%——同时相对最先进基线取得至多2.2倍执行加速。

Hawk:为高性能NPU内核生成利用硬件感知知识:论文配图
图 5:Hawk 概述。