代码和文本之间的双向小粒度搜索

我们介绍了代码和文本之间双向小粒度搜索的新颖任务，其中查询是文本或代码的小片段，结果也是相反模态（即代码或文本）的小片段。该任务在科学出版物中的文本和相应的代码段之间建立直接链接，以支持更好更快地理解科学方法。我们为所提出的任务引入了一个大型数据集，其中包括一个训练分区，其中包含使用 GPT-4 自动生成的代码的文本描述，以及三个测试分区，一个域内和两个域外 (OOD)，其中包含手动注释的数据以及来自其他域的材料。我们还提出了一种模块化方法来解决此任务。我们的方法在四个不同的子任务之间共享一个编码器，这些子任务可以在两个方向上学习答案范围的开始/结束。我们表明我们的方法在领域内取得了良好的结果，并且 OOD 的结果令人鼓舞。这表明使用自动生成的数据来解决此任务是可能的，但未来还有令人兴奋的工作要做。