火山引擎为智驾客户重构多模态数据处理链路

客户原有方案以 Argo 调度数据工作流，CPU 与 GPU 为相对独立的集群，处理后数据以 LMDB 格式存入 TOS，并用 JSON 手工管理索引与元数据，数据挖掘环节主要靠 CSV 与人工操作，血缘关系手动维护。引入火山引擎方案后，采用基于 Ray 与 Daft 构建的统一集群替代 Argo 调度平台，在同一框架内完成数据的清洗、拆解与打包，并实现 GPU 与 CPU 的统一调度与容错。 存储侧引入 Lance Format，依托数据湖平台 LAS 实现元数据与数据血缘自动管理，用户不再手工维护索引与关系信息，并通过数据入湖、分层存储提升数据治理效率。核心收益：数据成本降低 30%、管理效率提升 50%。通过 Remote Data Loader，GPU 资源利用率从 60% 上升到 96%，数据交付周期缩短 40% 以上。