OPTScientist：面向Transformer预训练的类型化优化器程序多智能体发现

为现代深度学习设计优化器仍是挑战性科学问题：需联合考虑优化几何、状态动力学、数值稳定性、实现约束与经验泛化。现有自动优化器发现方法要么在不受约束的代码空间搜索——灵活但常产出无效或不可解释的程序；要么在窄参数化的优化器家族内搜索——稳定但限制新颖性。我们提出OPTScientist，一个理论引导的、在类型化领域专用语言（DSL）中的多智能体优化器发现框架：把优化器设计表述为受约束的科学搜索过程，候选更新经方向、缩放、预条件、正则、状态与分组模块表达。四个角色智能体——理论家、设计师、工程师与评审员——在单一编排回路中协作：提出假设、合成DSL候选、编译并评估优化器、批评结果。为克服固定搜索空间的局限，OPTScientist把优化器程序的进化搜索与第二阶段机制结合：当反复失败暴露表示瓶颈时提议小型DSL扩展。利用该框架，我们发现RS-MR——一个精简状态的矩阵优化器，在我们的原生评估协议下较强基线改进Transformer预训练。结果表明一条以理论、类型化程序、编译器验证与闭环实验为根基的自动优化器科学之路。