AdaExplore：故障驱动的适应和多样性保留搜索以实现高效的内核生成

最近的 大语言模型 (LLM) 代理在使用执行反馈进行测试时间调整方面表现出了良好的前景。然而，强大的自我改进仍然远未得到解决：大多数方法仍然独立地处理每个问题实例，而没有积累可重用的知识。这种限制在特定领域语言（例如 Triton）中尤其明显，这些语言在 LLM 预训练数据中代表性不足。它们的严格约束和非线性优化景观进一步使得朴素生成和局部细化变得不可靠。我们提出了 AdaExplore，一个代理框架，它通过两个互补阶段（故障驱动的适应和多样性保留搜索）累积执行反馈来生成性能关键的内核代码，从而实现自我改进，共同提高正确性和优化性能，而无需额外的 微调 或外部知识。在适应阶段，代理综合任务并将重复出现的失败转换为可重用的有效性规则记忆，帮助后代保持在可行集合内。在搜索阶段，代理将候选内核组织为树，并在小的局部细化和更大的结构再生之间交替，使其能够探索局部最优之外的优化景观。内核运行时优化基准测试的实验验证了这些收益：AdaExplore 在 KernelBench Level-2 和 Level-3 上分别在 100 个步骤内实现了 3.11 倍和 1.62 倍的加速，并且通过额外的计算继续改进。