论文
LANTERN:阐明语言模型中隐藏的数学知识
LANTERN: Illuminating Hidden Mathematical Knowledge in Language Models
摘要
语言模型现在可以证明定理,但人们仍然决定要解决哪些问题。我们询问模型的内部表示是否可以帮助识别有希望的数学联系。我们开发了 LANTERN,这是一种快速、经济高效的管道,它使用预训练模型激活上的分类器对候选关系进行排序,然后进行分阶段过滤、假设生成、可执行验证和分析检查。 LANTERN 应用于整数序列在线百科全书 (OEIS),对 10,000 个经常引用的序列中的 5000 万对进行了排名,并在没有现有 OEIS 交叉引用的情况下生成了 62 个经过验证的对之间的关系。内容屏幕保留了 13 个值得呈现的关系;其中九个内容丰富或富有洞察力,其中四个据我们所知完全新颖:没有一个出现在 OEIS 或我们的目标文献检索中。包括分类器训练、候选排序、过滤和验证在内的整个端到端过程花费了不到 8 个小时。