Doc2LoRA 提供科学思想的可解码表示

将科学论文表示为空间中的点可以让我们搜索相似的论文并探究各个领域如何相互关联并推动创新。除了搜索之外，论文的向量空间还邀请生成：通过简单的向量运算混合论文会创建新点，反映组合新颖性，将现有想法重新组合成新想法。然而，混合点通常代表尚未有论文实现的想法，附近也没有论文可以识别该想法。我们建议用 Doc-to-LoRA 超网络生成的 LoRA 适配器来表示每篇论文。因此，空间中的每个点（包括混合物）都代表一个大语言模型（LLM），可以用自然语言提出问题和指令。在美国物理学会（APS）的论文中，我们指示大语言模型在每个子领域的平均水平上用几个单词来命名该领域，并根据单词重叠和由五名大语言模型评审组成的小组进行判断，获得比五个基线标签更接近官方名称的标签。我们还要求两篇 APS 论文之间的大语言模型撰写摘要，并根据混合权重获得从一篇论文转移到另一篇论文的描述。虽然 Doc-to-LoRA 经过生成训练，但一个小的可逆变换使得嵌入在搜索方面具有竞争力，与 SPECTRE2 和 EmbeddingGemma 相当，并且接近 SBERT。由于变换是可逆的，变换空间中的每个点仍然映射回 LLM。因此，嵌入既可以用于搜索，也可以用于生成，使研究人员能够在空间中的任何一点质疑这个想法，作为生成新想法的起点。