文档是教育性的还是维基百科风格的？ -- 基于分类器的质量过滤的陷阱

基于分类器的质量过滤最近已成为构建 预训练 语料库的基本技术。事实证明，部署可以替代或补充一组启发式的单一模型的能力在众多 大语言模型 中是有效的。在这项工作中，我们通过演示简单的维基百科式重新格式化操作如何显着改变模型的质量评估并使低质量内容超过过滤阈值，暴露了这种方法中的一个关键漏洞。我们的分析表明，FineWeb-Edu CQF 模型将反转其对大约 7% 的评估文档的过滤决策，从而将本来会被排除的内容纳入 预训练 语料库。