在 大语言模型 中通过上下文学习和提示链接对科学文本进行自动分类

科学文献的不断扩展给导航和知识发现带来了重大挑战。在研究信息检索中，文本摘要和分类等既定任务对于研究人员和从业者有效驾驭这一广阔领域仍然至关重要，因此人们越来越多地致力于开发先进的研究信息系统。这些系统不仅旨在提供标准的基于关键字的搜索功能，而且还将在学术界和工业界的知识密集型组织中纳入自动内容分类功能。本研究系统地评估了现成的 大语言模型 (LLM) 在根据给定的分类方案分析科学文本方面的性能。我们利用分层 ORKG 分类法作为分类框架，使用 FORC 数据集作为 真值。我们研究了先进的提示工程策略，即上下文学习（ICL）和提示链接的有效性，并通过实验探索了 LLM 的温度超参数对分类精度的影响。我们的实验表明，与纯 ICL 相比，Prompt Chaining 具有更高的分类精度，特别是当应用于 ORKG 分类法的嵌套结构时。与旧的 BERT 模型相比，具有提示链的 LLM 优于最先进的领域（第一级）预测模型，并且在主题（第二级）预测方面表现出更好的性能。然而，LLM 在基于这种特定的层次分类法对研究领域的主题（第三级）进行分类方面尚无法表现良好，因为即使使用即时链接，它们也只能达到约 50% 的准确度。