产品与服务
火山引擎 AI MediaKit 字幕擦除升级:多模态语义判断 + ReFM 残差流匹配,支持 50 多种语种
从“看见文字”到“读懂画面”:AI MediaKit 如何实现视频字幕无痕擦除
概述
AI MediaKit 面向字幕擦除从像素级处理升级为理解式视频编辑:先以多模态语义判断区分「后期叠加层」(对白字幕、人物姓名与身份介绍、章节标题、提示花字、推广水印,应擦)与「场景固有文字」(招牌、海报、书本、服装印字、产品包装、现场屏幕、品牌卡与固定 Logo,应留),并把检测结果按空间重叠与时间连续性组织成稳定文字轨迹、选取多个代表帧联合分析以抑制闪烁,语义不明时采取保守保留策略;修复主干为自研 ReFM(Residual Flow Matching),从带字幕的原视频潜变量出发只学需要改变的残差,配合遮挡区域跨帧上下文聚合与全局视频表征双引导,4 步采样完成修复,并通过 Latent 精准回贴与稳定时序掩码约束编辑边界。生产链路上提供长视频重叠窗口连续处理、推理后恢复源分辨率并保留原始音频、多卡并行与断点续跑、分阶段缓存与逐视频校验、全链路日志,并适配 GPU 与 NPU;新版支持 50 多种语种擦除。