开源项目reshard-tokenized:数据重分片工具allenai/reshard-tokenizedallenai·来源日期:2026.02.28AI 基础设施数据基础设施收藏概述reshard-tokenized是AllenAI发布的Rust命令行工具,面向大模型训练数据处理场景,把目录树中的token化分片文件合并为一个或多个输出分片。工具按分片拼接.npy文件,并将.csv.gz元数据行合并且重映射偏移。工程并纳入当期新工程,采用Apache-2.0许可证,README提供构建、运行与测试命令,可按Cargo流程直接使用。