论文
忠实还是可找到?评估 LLM 生成的 RDF 数据集搜索元数据
Faithful or Findable? Evaluating LLM-Generated Metadata for RDF Dataset Search
摘要
数据集搜索在很大程度上依赖于元数据,使得 LLM 生成的元数据成为检索系统中合成内容的必然形式。我们研究了 RDF 数据集的六种元数据生成设置,从简单重写到基于配置文件和基于代理图的生成,并联合评估它们的检索有效性和 忠实性。无约束的元数据重写可提供比原始元数据最强的检索增益,但它也是最不忠实的,这表明搜索改进可以通过不支持的语义扩展来驱动。更强调证据依据的配置可显着改善 忠实性,而基于配置文件的重写可在检索有效性和证据一致性之间提供最平衡的权衡。这些发现将合成元数据定位为系统级 IR 问题,其中有效性、来源和信任必须一起评估。