开源项目

mega-data-factory:分布式多模态数据管线

duoan/mega-data-factory

AI 基础设施数据基础设施

概述

mega-data-factory 是一个可复现、高吞吐的分布式开源数据管线,面向超大规模多模态数据集处理,基于 Ray 构建,供模型数据团队使用。工程含 Rust 加速与 GPU 优化的算子,支持消融、打分与去重,提供安装与配置运行命令,以 MIT 许可发布;可复用算子覆盖多种模型数据场景。