技术实践
Amagi整合碎片化数据系统以支撑AI数据产品
概述
Amagi 是面向全球的流媒体技术公司,据介绍支撑8000多个频道、300多家分发商与每年260亿次广告曝光,服务全球45%的头部媒体公司。随着业务扩张,其数据系统高度碎片化:批处理用 Dataproc、分析用 Snowflake,另有多个自研平台,治理模型与数据口径互不相通,财务与运营对不上数,AWS 与 GCP 跨云治理也很复杂。Amagi 没有修补旧系统,而是以 Databricks 湖仓为基础重建统一的 Amagi Data Platform:多源数据经校验流入统一数据湖,由 Unity Catalog 管理血缘、访问控制与敏感数据打标;内部团队通过 notebook、Genie 自然语言查询、SQL 仓库与 serverless 计算取数,同时向流媒体平台、广告技术伙伴与内容方输出报表与分析产品。官方称,整合碎片化系统后成本降低45%,新数据产品上市时间缩短至原来的1/15,生产事故减少35%。其数据平台负责人称,这是组织对数据可靠性认知的根本转变,统一事实源终结了高管会上各方数字打架的时代。