流式计算 Flink 版 2.2 AI SQL:用 CREATE MODEL 与 ML_PREDICT 在 SQL 中调用方舟多模态 Embedding
文件上传即可检索|实时多模态向量链路落地实践分享
概述
流式计算 Flink 版 2.2 支持通过 CREATE MODEL 声明方舟模型并使用 ML_PREDICT 在 SQL 中执行实时推理,把模型接入、数据处理与向量写入由一条 SQL 作业统一编排,适用于需要在 Flink 侧自行完成 Embedding 的场景:把图片、标题、标签和 OCR 文本组装成多模态输入;指定方舟模型及版本;统一控制模型调用的并行度、吞吐和成本;让一份 Embedding 同时写入 VikingDB、Kafka、特征库或训练样本;以及在不重写 Java/Python 作业的情况下切换模型。文中给出的用法为:CREATE MODEL ark_multimodal_embedding(provider=ark,endpoint=https://ark.cn-beijing.volces.com/api/v3/embeddings/multimodal,model=doubao-embedding-vision-251215,model.dimensions=2048),把对象信息用 JSON_ARRAY/JSON_OBJECT 组装为 image_url 类型的多模态 payload,再经 ML_PREDICT(TABLE multimodal_payload, MODEL ark_multimodal_embedding, DESCRIPTOR(payload)) 得到 embedding 写入显式声明为 vector(2048) 字段的 VikingDB Collection;若 Embedding 还需用于实时特征、训练样本或消息订阅,可通过 EXECUTE STATEMENT SET 增加多个 Sink 共享同一次模型计算结果。文中注明生产环境应确保方舟服务能安全访问图片地址,私有 Bucket 建议使用受控的临时签名 URL,不建议为模型调用将整个 Bucket 配置为公开读;所有访问凭证建议通过 Flink 加密变量或运行环境变量注入。