将代理搜索引入地球观测数据发现

NASA 及其数据中心拥有数千个地球科学数据集和工具，例如 Worldview、Giovanni、Science Discovery Engine 和 Harmony。即使对于领域专家来说，找到合适的人也很困难。我们提出了一个用于地球科学数据发现的代理搜索框架，该框架采用自然语言研究查询并返回匹配的数据集和工具。我们证明，在 大语言模型 时代，知识图谱（KG）的潜在价值可以通过代理搜索得到大幅放大。从 NASA 地球观测知识图 (NASA EO-KG) 中，我们得出了 NASA-EO-Bench，这是一个包含 47k 个查询数据集对（21k 个基于任务的查询）的开放基准。在 NASA-EO-Bench 上微调的神经评分器击败了余弦和 BM25 基线。通过分数融合进一步将其与 BM25 结合，将 Recall@10 (R@10) 和 MRR 提高到未适应余弦基线的 5 倍以上。在此监督管道之上，零样本重排序阶段将 MRR 提升了 16%，这在配对引导下非常显着，无需额外训练，并且自主网络和 arXiv 工具的使用增加了进一步的增益，表明 LLM 推理是监督检索的补充。