产品与服务

Custom Model Serving:Databricks开放基于vLLM的自定义模型服务Beta

Custom Model Serving进入Beta

AI 基础设施推理服务

概述

Databricks将Custom Model Serving开放至Beta,底层基于vLLM推理引擎。用户可自定义运行配置,承载多模态工作负载,并把参数高效微调相关模型接入部署流程。对已在Databricks平台完成训练的团队,训练与服务可在同一平台闭环,减少跨环境迁移模型与重复搭建推理服务的成本。当前为Beta阶段,配额与限制以官方发布说明为准。