论文
AI智能体理解计算机体系结构吗?
Do AI Agents Understand Computer Architecture?
摘要
智能体越来越多地被要求设计硬件,也越来越多地被报道成功。这些报告能确认设计得到改善,却不能确认原因。改进加速器的智能体可能在推理机器结构,也可能只是熟练搜索从未理解含义的调节参数;只有前者能够迁移到下一种架构。现有评估保持问题表述固定而改变智能体,无法区分二者。我们反过来:AutoTuring把同一个15维加速器空间两次交给同一智能体,一次是带名称的架构参数和模拟器计数器,一次是[0,1]上的匿名变量,同时保持评估器、合法空间与可达最优值完全相同,使唯一变化是问题是否具有意义。两者差距就是测量对象。在九种FP16 GEMM内核组合上,语义带来收益:架构智能体平均比建模的H200高5.4%,比盲搜对应体高12.3%,同时少用70.1%的模拟器调用。但这不是独有收益:批评循环能为盲搜智能体恢复大部分差距,却没有给架构智能体带来收益,说明架构知识与结构化批评表现为替代而非互补。我们把这些作为初步发现报告:每种条件仅有五到六次运行,且只针对一个建模加速器;贡献在于比较方法本身,而非加速器。
