AVO：用于自主进化搜索的代理变异算子

代理变异算子 (AVO) 是一个新的进化变异算子家族，它用自主 编码智能体 取代了经典进化搜索的固定变异、交叉和手工设计启发式。 AVO 没有将语言模型限制在规定管道内的候选生成，而是将变化实例化为自我导向的代理循环，可以参考当前的谱系、特定领域的知识库和执行反馈来提出、修复、批评和验证实现编辑。我们在 NVIDIA Blackwell (B200) GPU 上评估了 AVO 的注意力，这是人工智能中最积极优化的内核目标之一。经过 7 天的多头注意力持续自主进化，AVO 发现在评估的配置中，内核的性能优于 cuDNN 高达 3.5%，优于 FlashAttention-4 高达 10.5%。所发现的优化很容易转移到分组查询注意力，只需要 30 分钟的额外自主适应，并且比 cuDNN 获得高达 7.0% 的收益，比 FlashAttention-4 获得高达 9.3% 的收益。总之，这些结果表明，代理变异算子通过将代理从候选生成器提升为变异算子，超越了之前的 LLM 循环进化管道，并且可以发现性能关键的微架构优化，从而产生超越当今最先进的 GPU 硬件上最先进的专家设计的注意力实现的内核。