论文

AKG kernel Agent:面向跨平台内核合成的多Agent框架

AKG kernel Agent: A Multi-Agent Framework for Cross-Platform Kernel Synthesis

摘要

现代AI模型需要高性能计算内核。LLM、多模态架构与推荐系统日益复杂,加上稀疏化与量化等技术,带来了严峻的计算挑战。此外,频繁的硬件更新和多样的芯片架构使局面更加复杂,需要为每个平台定制内核实现。然而,人工优化已无法跟上这些需求,成为AI系统开发中的关键瓶颈。LLM代码生成能力的最新进展为自动化内核开发开辟了新的可能。在这项工作中,我们提出AKG kernel agent(AI-driven Kernel Generator),一个自动化内核生成、迁移与性能调优的多Agent系统。AKG kernel agent旨在支持多种领域专用语言(DSL),包括Triton、TileLang、CPP和CUDA-C,使其能够面向不同硬件后端,同时保持正确性与可移植性。系统的模块化设计允许快速集成新的DSL与硬件目标。在KernelBench上使用Triton DSL、跨GPU与NPU后端评估时,AKG kernel agent相对PyTorch Eager基线实现取得平均1.46倍的加速,证明了其在加速现代AI负载内核开发方面的有效性。

AKG kernel Agent:面向跨平台内核合成的多Agent框架 配图
图 1:内核智能体(kernel agent)的总体架构。Conductor 充当中央编排器,在迭代精炼循环中协调 Designer、Coder 与 Verifier 智能体。该系统利用专家知识、优化内核数据库以及多个 LLM 后端来生成高性能内核代码。