论文

PCE让LLM提出固定形式控制律参数并只保留证书通过候选

Proof-Carrying Evolution: Black-Box Search, White-Box Flight

应用与实践模型推理推理验证与自校正机器人

摘要

我们研究语言模型是否可以帮助设计可以对其行为进行形式检查的控制器。在携证进化(PCE)中,搜索会提出控制器及其证书。它们的数学形式是固定的;提议者一起选择二者的数值参数。证书检查指导选拔,只返回通过证书核验的候选控制器。部署的工件是控制律及其证书;语言模型仅在设计期间使用。我们使用配对运行和相同的候选提案预算,将四种语言模型与经典搜索和合成在速度限制下的对接、机动目标的追踪和 SO(3) 上的姿态控制进行比较。在搜索线性问题期间,以精确的有理算术检查证书。在 SO(3) 上,搜索使用浮点检查,然后对每个报告的最优候选进行精确的重新验证。每种方法的最佳运行也会收到其规定的控制属性的 Lean 4 证明。在线性问题上,最强的模型在每次运行中都击败了标准的经典基线,但是为同一目标选择证书的经典优化器弥补了大部分领先优势。在文中报告的追踪任务最优候选中,排名无法在从欧拉离散动力学改为零阶保持动力学后保持不变。在 SO(3) 上,当与经典变异混合时,未检测到任何模型优于 CMA-ES。当模型编写每个提案时,一个测试模型在 CMA-ES 上有所改进,而另一个模型的性能比其混合变体更差。所有搜索中位数均低于人工调参的控制律。在目标和变异算子保持固定的对接控制中,保留经过认证的候选者在每次运行中都会产生新的经过认证的设计;取消这一规则后则没有一次产生新的经认证设计。

PCE让LLM提出固定形式控制律参数并只保留证书通过候选:论文配图
图1:携带证明的演进。提案者选择控制器参数及其证书,筛选偏向证书通过检查的候选,每次运行中最佳的已认证设计都经过精确检查;每个实验分支的最佳运行还获得Lean证明。表中给出各问题的检查。