RATIO：科学文献中跨类型构思操作的检索基准

检索到的科学文献可以为人类和人工智能科学家提供灵感。灵感可以采取不同的形式：之前的工作可能直接建议如何解决问题，或者在不同的抽象层次上提出方向——缩小到更一般的视图或放大到具体的实现。我们引入了 RATIO（跨类型化构思操作检索），这是一个大规模基准，其中相关性由三个操作定义，我们将其命名为构思移动：Address 检索陈述问题的潜在方法，Broaden 检索更一般的公式，Specify 检索具体实例。 RATIO 由计算机科学文献中数以百万计的全文科学论文构建而成，通过一个通用方法将话语标记远程监督（以前仅用于分类）扩展到语料库规模检索，并结合广泛的 LLM 和人工审查。实验表明，特定于操作的 微调 大大提升了 检索器，但仍有很大的进一步改进空间。 RATIO 为检索组件提供了一个可扩展的训练和评估框架，支持基于文献的构思，开辟了科学灵感检索的新研究途径。