论文

AgenticCANN:基于知识增强智能体进化的Ascend C算子自动生成

AgenticCANN: Automated Ascend C Operator Generation via Knowledge-Augmented Agentic Evolution

摘要

Ascend C算子优化对NPU(Neural Processing Unit,神经处理单元)推理性能至关重要,但需要深厚的硬件专业知识。尽管大语言模型(LLM)已在自动化CUDA内核生成上展现出潜力,但Ascend C根本不同的编程模型带来了尚未被探索的独特挑战。本文提出AgenticCANN,一个专为低语料NPU环境下自动化Ascend C算子合成量身定制的知识增强智能体进化框架。为克服在陌生硬件上严重的平台知识匮乏,AgenticCANN引入知识编排生成系统,在整个开发生命周期提供结构化、多层次的领域洞见,以解决上游可行性瓶颈。在此基础上,它采用阶段自适应的智能体进化策略,动态地将LLM交互模式与特定的生成和进化阶段对齐,在高探索的候选发现与高收敛的性能调优之间取得平衡。在华为Ascend 910B上、跨五个模式类别的六个算子开展的大量实验表明,本方法在逐元素和归一化算子上达到90%到100%的可行性,在融合算子上为56%,并在1B Pangu模型推理内核上取得最高6.65$\times$的加速。进一步分析显示,知识注入使逐元素算子的可行性从57%单调提升至86%,证明其收益是通用性的,而非特定于某个算子。

AgenticCANN:基于知识增强智能体进化的Ascend C算子自动生成:论文配图
图 1:算子设计范式的比较:(a) 由人类专家或单遍 LLM 提示进行的直接算子设计,(b) 利用集体启发式的基于群体的进化,以及 (c) 我们提出的知识增强代理进化 (AgenticCANN),由低语料库 NPU 环境的主动工具使用功能支持。