火山引擎 Flink + VikingDB 实时多模态向量链路：对象上传后秒级可检索

火山引擎把「发现新增对象→读取对象→清洗组装模型输入→生成 Embedding→写入向量库→更新索引」这条原先由多个定时任务拼装的链路，收敛成一条持续运行的实时数据链路：TOS 的对象变更事件经事件通知投递至 Kafka，作为面向对象存储的 Flink SQL Source Connector 的 TOS-CDC 在全量扫描后默认从全量扫描开始时间对应的 Kafka 位点继续消费增量事件，用 Checkpoint 保存扫描进度与消费位点，下游用稳定主键 Upsert 抵御事件重放；VikingDB 侧可在表上声明字段语义与向量模型（如把 image_uri 声明为 image 字段并配置 doubao-embedding-vision、维度 2048），由 VikingDB 自动完成图片读取、向量化和索引更新，业务无需维护模型服务、GPU 资源池与导入程序，且 VikingDB Connector 支持按 Flink Changelog 执行 Upsert/Delete（默认同步写入，避免异步模式的可见延迟）；需要自定义多模态输入或指定模型时，流式计算 Flink 版 2.2 支持用 CREATE MODEL 声明方舟模型（如 doubao-embedding-vision-251215，endpoint https://ark.cn-beijing.volces.com/api/v3/embeddings/multimodal）并用 ML_PREDICT 在 SQL 中执行实时推理，还可通过 EXECUTE STATEMENT SET 增加多 Sink 让一份 Embedding 复用于 VikingDB、Kafka、特征库与训练样本。作者称该方案把数据可见延迟从小时级降至秒级，并使画像检索、关键词检索、地理信息检索可直接复用产出 Collection；文中标 TOS-CDC 需邀测资格、Flink 2.2 AI SQL 正在邀测中。