论文

AI智能体理解计算机体系结构吗?

Do AI Agents Understand Computer Architecture?

智能体系统Agent任务评测

摘要

智能体越来越多地被要求设计硬件,也越来越多地被报道成功。这些报告能确认设计得到改善,却不能确认原因。改进加速器的智能体可能在推理机器结构,也可能只是熟练搜索从未理解含义的调节参数;只有前者能够迁移到下一种架构。现有评估保持问题表述固定而改变智能体,无法区分二者。我们反过来:AutoTuring把同一个15维加速器空间两次交给同一智能体,一次是带名称的架构参数和模拟器计数器,一次是[0,1]上的匿名变量,同时保持评估器、合法空间与可达最优值完全相同,使唯一变化是问题是否具有意义。两者差距就是测量对象。在九种FP16 GEMM内核组合上,语义带来收益:架构智能体平均比建模的H200高5.4%,比盲搜对应体高12.3%,同时少用70.1%的模拟器调用。但这不是独有收益:批评循环能为盲搜智能体恢复大部分差距,却没有给架构智能体带来收益,说明架构知识与结构化批评表现为替代而非互补。我们把这些作为初步发现报告:每种条件仅有五到六次运行,且只针对一个建模加速器;贡献在于比较方法本身,而非加速器。

AI智能体理解计算机体系结构吗?:论文配图
图2:设计空间映射。强设计分布在多个宽阔的近最优区域,支持饱和假说,也解释了Actor已进入有竞争力区域后Critic收益有限的现象。映射细节及可视化局限见附录B.6。