开源项目mega-data-factory:分布式多模态数据管线duoan/mega-data-factoryduoan·来源日期:2026.01.18AI 基础设施数据基础设施收藏概述mega-data-factory 是一个可复现、高吞吐的分布式开源数据管线,面向超大规模多模态数据集处理,基于 Ray 构建,供模型数据团队使用。工程含 Rust 加速与 GPU 优化的算子,支持消融、打分与去重,提供安装与配置运行命令,以 MIT 许可发布;可复用算子覆盖多种模型数据场景。