我们需要更大的科学模型吗？使用小语言模型的任务感知检索

科学知识发现越来越依赖于 大语言模型，但许多现有的学术助手依赖于具有数百或数千亿参数的专有系统。这种依赖限制了研究界的可重复性和可访问性。在这项工作中，我们提出一个简单的问题：我们是否需要更大的模型来进行科学应用？具体来说，我们研究了精心设计的检索管道在多大程度上可以弥补科学应用中模型规模的缩小。我们设计了一个轻量级的检索增强框架，该框架执行任务感知路由以根据输入查询选择专门的检索策略。该系统进一步整合了全文科学论文和结构化学术元数据的证据，并采用紧凑的指令调整语言模型来生成带有引文的回复。我们跨多个学术任务评估该框架，重点关注学术问答 (QA)，包括单文档和多文档场景，以及领域转移和科学文本压缩下的生物医学 QA。我们的研究结果表明，检索和模型规模是互补的，而不是可以互换的。虽然检索设计可以部分补偿较小的模型，但模型容量对于复杂的推理任务仍然很重要。这项工作强调检索和任务感知设计是构建实用且可重复的学术助手的关键因素。