论文

LinkedIn大规模职位理解的统一语义建模框架

Unified Semantic Modeling Framework for Large-Scale Job Understanding at LinkedIn

应用与实践行业应用

摘要

职位理解对LinkedIn连接人才与机会的使命至关重要。该任务涉及将非结构化且嘈杂的职位发布转化为标准化或派生的职位属性,以支撑众多LinkedIn产品。然而,构建一个可扩展、高性价比且高性能的职位理解系统仍然充满挑战。本文提出一个由小语言模型(SLM)驱动的统一语义建模框架来应对这些挑战。我们首先使用一套经过精心策划、并以推理轨迹增强的合成任务对开源SLM进行微调。这些任务共同针对分类体系引导的分类和不依赖分类体系的实体抽取。这使所得模型在结构化和非结构化情境下的职位理解中获得稳健的零样本泛化能力。在此基础上,我们引入带属性分组的多适配器架构,以便高效地进行任务特定适配,同时简化跨多样下游属性的模型管理。离线评估和在线A/B测试表明,系统在显著提升性能的同时降低了运维复杂度。我们的工作为构建工业级规模的文本理解系统提供了实践洞见。