使用 编码智能体 进行主动流量控制的启发式学习

主动流量控制涉及非线性动力学、部分观测和计算量大的模拟，使得控制器设计特别具有挑战性。深度强化学习（DRL）已成为解决此类问题的强大框架，但其成功通常依赖于大量模拟器交互，并产生神经网络策略，而其决策过程通常仍然难以解释。在这项工作中，我们研究了一种不同的范例：我们没有优化神经网络参数，而是使用现代 编码智能体 直接搜索显式可执行反馈定律。我们引入了一种受约束的启发式学习协议，其中代理迭代地提出、评估和修改控制器实现，同时仅通过公共基准接口进行交互。所提出的框架在涵盖一维、二维和三维问题的 13 个主动流量控制基准上进行评估，并与相同模拟预算下最强的可用 DRL 基准进行比较。所发现的启发式控制器在 13 个环境中的 10 个环境中匹配或优于最佳 DRL 策略，同时保持紧凑、可解释和直接可检查。除了总体性能之外，最终的控制器还揭示了物理上有意义的反馈机制，可以成功地跨更具挑战性的配置进行传输，并在不同的雷诺数和瑞利数、执行器数量和观测稀疏性下保持竞争力。这些结果表明，通过 编码智能体 进行的启发式学习构成了传统强化学习的可靠且补充的替代方案，将竞争性能与物理上可解释的控制器表示相结合。提示和源代码可在 https://github.com/DonsetPG/fluid-heuristic-learning 获取。