具有多级分类的多域多模式文档分类基准

文档分类构成了现代企业内容管理的支柱，但现有的基准仍然陷入过于简单化的范式（具有平面标签结构的单域设置），与现实世界业务文档的分层、多模式和跨域性质几乎没有相似之处。这种差距不仅歪曲了实际的复杂性，而且还阻碍了工业上可行的文档智能的进展。为了弥补这一差距，我们构建了第一个多层次、多领域、多模式文档分类基准（MMM-Bench）。 MMM-Bench 包括 (1) 跨越五个级别的深度分层分类法，捕获业务文档的真实组织逻辑； (2) 阿里巴巴12个商业领域精心策划的5,990份真实多模态文档。每个文档都由领域专家手动注释完整的层次结构路径。我们在 MMM-Bench 上建立了全面的基线，其中包括开放权重模型和基于 API 的模型。通过系统实验，我们确定了 MMM-Bench 中的四个基本挑战并提出了相应的见解。为了为推进多层次、多领域文档分类研究提供坚实的基础，我们在https://github.com/MMMDC-Bench/MMMDC-Bench发布了MMM-Bench的所有数据和评估工具包。