论文
WorkRB：社区驱动的工作领域人工智能评估框架
WorkRB: A Community-Driven Evaluation Framework for AI in the Work Domain
摘要
当今不断发展的劳动力市场越来越依赖以自然语言处理 (NLP) 功能为核心的招聘、人才管理和劳动力分析推荐系统。然而，这一领域的研究仍然高度分散。研究采用不同的本体论（ESCO、O*NET、国家分类法）、异质的任务表述和不同的模型系列，使得交叉研究比较和再现性变得极其困难。通用基准缺乏对具体工作任务的覆盖，就业数据固有的敏感性进一步限制了公开评估。我们推出 \textbf{WorkRB} （工作研究基准），这是第一个专为工作领域人工智能量身定制的开源、社区驱动的基准。 WorkRB将来自7个任务组的13个不同的任务组织为统一推荐和NLP任务，包括工作/技能推荐、候选人推荐、相似项目推荐以及技能提取和标准化。 WorkRB 通过动态加载多语言本体来实现单语言和跨语言评估设置。 WorkRB 在学术界、工业界和公共机构的多利益相关者生态系统中开发，采用模块化设计，可实现无缝贡献，并能够在不泄露敏感数据的情况下集成专有任务。 WorkRB 可在 Apache 2.0 许可证下使用，网址为 https://github.com/techwolf-ai/WorkRB。