Kernaut：编码Agent自动发现可验证核函数

内核对各种机器学习模型的归纳偏差进行编码，但自动化内核设计面临着根本性的困境。基本内核和运算符的固定语法保证了有效性，但将搜索限制为这些构建块可表达的结构。相反，不受限制的程序消除了此限制，但不再保证有效性。在我们的压力测试中，通过随机输入数值检查的 LLM 生成的内核中，有 22-58% 在不同尺度或维度进行评估时失败。我们提出了内核自动研究（Kernaut），它将内核设计视为开放式模型发现。编码Agent将内核编写为程序，而构建合同则确保每个接受的内核都是有效的。质量多样性档案保留了具有独特行为的高性能内核，新颖性筛选引导Agent寻找功能上新的候选者。我们的实验表明，所发现的内核编码可重复使用的归纳偏差，可泛化到未见过的任务。在保留的黑盒优化系列中，发现的内核优于 元学习的深度内核在相同的剧集上进行训练。此外，从十种酶动力学速率定律中发现的内核在五种看不见的机制上实现了比调整的 ARD 和深度内核基线更低的误差。发现的内核也是人类研究人员可以改进的可解释程序：人类改进版本的内核进一步将保留的预测误差降低了 5.7%，将优化遗憾降低了 7.8%。