通过快速工程技能操作语言方法：自动中文网络新词检测管道

我们提出了一种自动中文网络新词检测的方法，该方法将传统的语言识别原理作为即时工程技能来操作。该方法有四个阶段：独立于分词器的字符 n-gram 候选生成；使用逐点互信息预过滤器进行字典锚定；基于汉语构词原则的良好构词能力；以及区分新词、实体和无词的组合规则和三向分类技能。该方法应用于 BAAI CCI 3.0 语料库（2.67 亿文档），生成 226,959 个分类候选词，其中包括 4,853 个标记的新词。为了评估该方法，我们开发了每阶段条件召回分解，其中管道的严格召回以数学方式分解为阶段条件召回的乘积。应用于Hou（2023）（4,199条目），分解暴露了阶段1候选覆盖率和阶段4B LLM语义判断作为两个瓶颈（R分别= 41.5％和60.0％），而中间阶段几乎无损。长度分层分析进一步表明，结构良好的技能是长度不变的（>= 96.9%），而语义新颖性分类技能是长度相关的（2/3/4 字符候选者中的 65.6%/59.0%/44.1%），映射了基于技能的语言操作化的当前边界。我们将方法、管道输出和评估协议作为公共资源发布。