技术实践
Meta重构元数据与分布式缓存以支持AI存储负载
概述
Meta在构建面向 AI 负载的超大规模存储体系场景中应用AI。算力约每两年翻三倍而存储/互联增长较慢,存储瓶颈已是 AI 负载 GPU 停顿的主要来源之一;Meta 运营数百个 EB 级存储集群,服务 Facebook、Instagram、Reality Labs、Meta AI、Ads、数据仓库与内部数据库。已实施的机制包括:重写元数据子系统,把分散在各层的元数据压平成统一 schema;分布式数据缓存平均命中率 80%;readplan 元数据缓存访问 1–2 ms(发布方自述口径,内部实测未独立核验)。