论文
LLM关键词服务比较五种输入选择策略支持虚拟数据集发现
Automated Keyword Generation Using LLMs in a High-Volume Data Virtualization Service
摘要
在现代数据基础设施中，数据虚拟化服务（DVS）允许用户为不同的处理任务创建多个版本的源数据集。例如，多元或多模态数据集可用于不同的机器学习任务（例如分类、检测、分割、预测等）。不同任务中的数据选择、参与、集成和预处理会产生许多虚拟数据集 [Khan et al., SSC 2026]。同时，不同的用户需要频繁、轻松地发现现有的虚拟数据集，以避免重复工作。为了在 DVS 中启用有效的搜索引擎，需要为每个虚拟数据集自动生成关键字。在这项工作中，我们提出了一种使用大型语言模型（LLMs）为虚拟数据集生成关键字的解决方案。我们提出了五种策略来选择不同的文本数据集合以供 LLMs 处理。我们将这五种策略应用于使用不同源数据集的五个应用案例研究中创建的虚拟数据集。我们使用三个 LLM 生成器和两种嵌入技术进行了实验。实验表明，五种策略的性能取决于文本描述的质量。结果帮助我们采用新关键字生成服务 (KGS) 的多策略实施作为扩展 DVS 的一部分。这项工作表明，自动生成关键字的能力对于数据集丰富且访问频繁的大容量 DVS 是必不可少的。
