论文

TaxCE:大规模自动化分类构建和评估框架

TaxCE : A Framework for Automated Taxonomy Construction and Evaluation at Scale

模型推理推理验证与自校正

摘要

将非结构化反馈文本组织成分层分类是 NLP 中的一项基本挑战,特别是在反馈以各种形式(例如评论、记录和调查)大规模到达的领域。现有的方法要么产生浅薄的层次结构,忽视长尾主题,要么缺乏严格的评估框架。我们提出了 TaxCE,一个完全自动化的框架,它通过将语料库内容逐步压缩为可操作的片段、去重复的语义单元和带有定义的细粒度主题,从原始文本构建多级分层分类法,然后将其自下而上组织成具有语料库基础的层次结构。我们还引入了三种基于语料库的评估指标:排他性、穷尽性和粒度(EEG),并将它们集成到循环指标迭代细化机制中,该机制可诊断缺陷并应用有针对性的修正直至收敛。大量实验表明,TaxCE 始终优于涵盖经典主题模型、神经方法和基于 LLM 的方法的现有基线,与最强基线相比,排他性、详尽性和粒度分别平均提高了 11.8、20.5 和 15.7 个百分点。人类评估进一步证实了卓越的分类质量、可操作性和可导航性。