KernelBenchX：用于评估 LLM 生成的 GPU 内核的综合基准

基于 LLM 的 Triton 内核生成引起了人们的极大兴趣，但一个基本的经验问题仍未得到解答：这种能力在哪里失效，为什么？我们推出了 KernelBenchX，这是一个基准测试，旨在通过对 15 个类别的 176 个任务的正确性和硬件效率进行类别感知评估来回答这个问题。我们对五种代表性方法的系统比较得出了三个主要发现。首先，任务结构比方法设计更决定正确性。类别解释的语义正确性差异几乎是方法的三倍（解释偏差为 9.4% vs 3.3%），72% 的 Fusion 任务在所有五种方法中都失败，而数学任务得到一致解决。其次，迭代细化提高了正确性，但没有提高性能。在 GEAK 迭代中，编译率从 52.3% 上升到 68.8%，而平均加速比从 $1.58\times$ 下降到 $1.44\times$；新拯救的内核始终表现不佳，持续正确的内核（$1.16\times$ 与 $1.58\times$ 加速比在 ~0$\to$1 回合中）。第三，正确并不意味着高效。 46.6% 的正确内核比 PyTorch eager 基线慢，跨硬件加速差异达到 $21.4\times$。此外，尽管编译率不低，但量化仍然完全未解决（0/30 成功），这揭示了对数值计算契约的系统性误解，而不是表面级语法错误。这些发现表明，未来的进展取决于处理全球协调、明确模拟数值精度以及将硬件效率纳入生成中。代码可在 https://github.com/BonnieW05/KernelBenchX 获取