CORTEX：通过本体语料库图对网络级语料库进行高质量跨域组织

大语言模型的不断演进带动了对数据规模和质量的要求不断升级，随着不同训练阶段对数据的要求越来越高，高质量语料库的系统组织变得必不可少。现有的语料库构建流程将生成的语料库局限于扁平的、无差异的文档集合，普遍缺乏系统的知识组织。据我们所知，Cortex 是第一个框架，通过本体语料库图（OCG）将网络规模的语料库建设从平面文档过滤提升到结构化知识组织，这是一个统一质量精炼内容层的三层异构结构，一个通过 LLM 驱动的自动演化的分层轻量级本体层，以及一个跨域对齐层，可以在任意分类分辨率下实现域间关联。综合实验证实了 Cortex 的有效性。特别是，我们利用 OCG 来综合 CortexBench，这是一个跨领域搜索和推理基准，其跨八个前沿 LLM 的评估验证了质量细化、领域组织和跨领域数据综合的有效性。我们将公开发布完整的代码库、24.14B 词元精炼语料库及其 OCG 和 CortexBench。数据可在 https://github.com/zjukg/CORTEX 获取。