Latent Heuristic Search：面向自动化算法设计的连续优化

将大语言模型（LLM）融入进化框架已为自动化启发式发现确立了新范式。尽管前景可观，这些方法通常在程序语法的离散空间中搜索，依赖随机采样来探索高度非凸的优化地形。本工作提出一个连续启发式发现框架，将优化转移到学习到的潜在流形上。我们采用编码器将离散程序映射为连续嵌入，并训练可微代理模型来预测性能，从而支持基于梯度的搜索。为正则化优化轨迹，一个可逆的归一化流将这些嵌入映射到结构化的高斯先验上，我们在其中执行梯度上升。所得到的优化后潜在向量通过学习到的映射器投影为软提示，用于条件化冻结的LLM以合成新的可执行启发式方法。我们在旅行商问题（TSP）、带容量约束的车辆路径问题（CVRP）、背包问题（KSP）和在线装箱（OBP）上评估所提方法。实证结果表明，连续潜在空间优化取得了与最先进离散进化基线相当的性能，同时为自动化算法设计提供了一种互补的方法学选择。实现代码发布于 https://github.com/cheikh025/LHS。