用 Transformer 合成物理公式

找到一个适合一组输入输出对并预测未见输入的输出的紧凑公式是科学中的一个基本问题。符号回归自动搜索此类公式：基于搜索的方法直接探索可能公式的空间，而根据合成数据预先训练的转换器则可以更快地生成质量相当的公式。然而，现有的转换器很容易过度拟合——它们找到了适合训练数据的公式，但不能推断到训练期间未见的输入范围。我们通过调整用于训练 Transformer 的公式集来解决这个问题，并表明所得公式的推断效果要好得多。 微调具有噪声损坏目标值的数据变换器进一步使合成公式对观测中的噪声具有鲁棒性。在 SRBench 和 LLM-SRBench 上，我们的变压器在大约十秒内合成了一个公式，并且在可比较的预算下比所有评估的方法更好地进行推断。仅当多花一到三个数量级的时间时，基于搜索的方法才能超越我们的准确性。