生成式 AI 是否会取代受监督的 XMLC？德国科学文献自动主题索引基准研究

以大量受控词汇作为标签集，图书馆中的自动主题索引任务可以理解为多标签分类任务。如果主题术语集很大，则问题符合极限多标签分类 (XMLC) 目标。在本研究中，我们将精选的专门监督 XMLC 方法应用于对德国国家图书馆 (DNB) 收藏的当代德国科学文献进行主题索引的测试用例。我们通过将经典的词汇匹配基线和我们自己最近开发的三种基于 LLM 的方法纳入基准来对比这些结果。算法通过多个指标进行评估和比较。这包括与先前索引材料的二元相关性比较，以及专业学科图书馆员的分级相关性评级。所有方法面临的挑战是从主题词汇的长尾中可靠地提出建议。我们发现，依赖于基于 Transformer 的密集特征的监督 XMLC 算法在整体二进制相关性指标方面给出了最佳结果。然而，基于主题词汇长尾的分级相关性和性能，基于 LLM 的生成方法给出了更好的结果，使它们成为未来生产使用的有希望的替代方案。