论文
Metal-Sci:Apple Silicon 上进化 LLM 内核搜索的科学计算基准
Metal-Sci: A Scientific Compute Benchmark for Evolutionary LLM Kernel Search on Apple Silicon
摘要
我们推出 Metal-Sci,这是科学 Apple Silicon Metal 计算内核的 10 任务基准,涵盖六种优化机制(模板、$n$ 体问题中的所有对、多场玻尔兹曼、邻居列表分子动力学、多内核 PDE、FFT)。每个任务都附带一个 CPU 参考、一个屋顶线锚定的适应度函数和一个保留的泛化大小。我们将基准测试与用于自动内核搜索的轻量级工具配对,该工具在运行时编译每个候选者,根据多个大小的屋顶线对其进行评分,并将结构化编译和每个大小的正确性诊断反馈给冻结的 LLM,驱动 $(1{+}1)$ 进化循环。我们报告了 M1 Pro 上 Claude Opus 4.7、Gemini 3.1 Pro 和 GPT 5.5 的匹配单模型扫描:发行版自加速范围为 1.00 美元\次$到 10.7 美元\次$。除了原始加速之外,我们的核心方法论主张是结构性的:保留的门评分函数 $Φ_\mathcal{T}$ (在运行结束时在代理在搜索过程中从未见过的配置上评估一次)在这个自动搜索循环中充当廉价的机械监督原语,捕获例如Opus 模板 <uint D> HMC 获胜,在未见过的维度上返回错误的样本,而 GPT FFT3D 最佳则以 $2.95\times$ 加速赢得分布内,但在 $256^3$ 保留的立方体上崩溃到 $0.23\times$,这是仅靠分布内分数无法看到的静默回归。代码位于 https://github.com/vicgalle/metal-sci-kernels