论文
SPARROW:通过结构保留分区和约束引导合并进行可扩展分类归纳
SPARROW: Scalable Taxonomy Induction via Structure-Preserving Partitioning and Constraint-Guided Merging
摘要
分类归纳旨在将概念集组织成连贯的层次结构。最近基于 LLM 的方法可以直接从平面术语列表中导出分类法,避免了对语料库的需要,但随着概念集规模的扩大,分类法会急剧退化。我们认为这种退化不仅源于上下文长度限制,还源于层次推理中的结构性失败。为了解决这个问题,我们采用分而治之的范式,将概念划分为更小的子集,引入局部分类法,并将它们合并到全局层次结构中。然而,我们确定了该范式固有的两种结构失效模式:结构碎片,其中分区削弱了局部层次结构信号,以及父代位移,其中局部合理的关系在全局层次结构中被放错了位置。为了解决这两个问题,我们提出了 SPARROW,一种可扩展的分类归纳框架,它结合了结构保留的谱分区以保留每个块内的层次连接性,以及约束引导的增量融合,将块级关系视为结构约束,而不是用于全局放置的 真值。大规模基准测试表明,SPARROW 在各个主干网中始终保持最强的全局结构质量。代码可在 https://github.com/rebeccazyr/SPARROW 获取。