论文
ShapeBench:用于空气动力学形状优化标准化评估的可扩展基准和诊断套件
ShapeBench: A Scalable Benchmark and Diagnostic Suite for Standardized Evaluation in Aerodynamic Shape Optimization
摘要
空气动力学形状优化(ASO)的快速进展已经超过了当前可用的标准化评估框架。公平比较需要一个涵盖不同形状类别、目标公式和匹配预算的最新基线的统一基准。我们推出了 ShapeBench,这是一个开源 ASO 基准测试,具有统一的 API,涵盖 8 个形状类别和多个优化机制的 103 个任务。每个 ShapeBench 任务都包含一个经过验证的代理,用于快速搜索;在可行的情况下,可以使用高保真计算流体动力学 (CFD) 管道进行最终验证,从而实现系统的保真度差距分析。 ShapeBench 提供了一个可重复的协议,具有配置良好的基线,可以使用一致的预算指标进行公平比较,从而可以在经典方法和 LLM 驱动方法之间进行比较,包括通用优化器和新的领域专用进化 LLM 基线 ShapeEvolve。 ShapeBench 上的结果表明,跨形状类别和问题表述的优化器排名存在显着差异,平均成对 Spearman $ρ= 0.013$,因此单任务结论不能可靠地推广到问题类别。该基准还远未达到饱和;经典方法很少适用于所有形状类别和任务,这进一步凸显了对更通用方法的需求。