产品与服务
火山引擎多模态 AI 数据湖新架构:Lance 存储 + 200 个处理算子 + LAS Processing Agent
基于多模态数据湖的新一代人工智能应用——Nvidia 工具链落地实践的深度洞察
概述
针对传统数据湖在存储格式、GPU 处理、引擎与模型联动、非结构化数据管理、Agent 时代处理效率五个方面的挑战,火山引擎推出多模态数据湖架构:存储侧在兼容结构化 Spark 数据湖的同时引入 Lance 非结构化存储格式,并支持 MCAP、LeRobot 等覆盖自动驾驶与机器人行业的数据格式;处理侧提出处理与推理一体化平台,可联动 CPU 与 GPU 并与模型结合,重点提供 Ray、Daft 与 NeMo Curator 三个非结构化数据处理引擎;在此之上内置 200 个覆盖文本、图片、视频、音频的数据处理算子,并推出 LAS Processing Agent 多模态数据处理智能体,按用户处理需求调度底层算子与算力资源;管理侧增强数据集的多模态版本管理、数据探查与共享,Catalog 侧在传统 Hive Meta Store 之外支持 Gravitino 非结构化元数据管理,表侧支持文件自动合并、自动清理、索引管理与冷热流动。