论文

提出用于分析与外部结果关联的主题模型和评估框架:使用大规模企业评价数据进行领导力分析的应用

Proposing Topic Models and Evaluation Frameworks for Analyzing Associations with External Outcomes: An Application to Leadership Analysis Using Large-Scale Corporate Review Data

模型评测评测方法与指标

摘要

分析从文本数据中提取的主题与外部结果的关系对于计算社会科学和组织研究等领域非常重要。然而,现有的主题建模方法很难同时实现可解释性、主题特异性(与具体行为或特征的一致性)和极性立场一致性(主题内不存在混合的正面和负面评价)。本研究重点关注使用企业评论数据的领导力分析,提出了一种利用 大语言模型 生成满足这些属性的主题的方法,以及针对外部结果分析量身定制的评估框架。该框架明确将主题特异性和极性立场一致性作为评估标准,并根据现有指标检查自动评估方法。使用日本主要企业评审平台 OpenWork 的员工评审,与现有方法相比,所提出的方法提高了可解释性、特异性和极性一致性。在对员工士气等外部结果的分析中,它还产生了具有更高解释力的主题。这些结果表明,所提出的方法和评估框架为涉及外部结果的应用中的主题分析提供了通用方法。