开源项目
kaggle-tpu-lab:在Kaggle TPU上部署模型推理服务
ARahim3/kaggle-tpu-lab
概述
kaggle-tpu-lab 将 Kaggle TPU 资源组织成模型推理服务,并提供 OpenAI 兼容调用入口。 在Kaggle TPU上提供启动器、服务和补丁,以兼容OpenAI接口的方式运行模型。 仓库包含启动器、服务脚本和补丁,串联模型运行与接口服务。OpenAI 兼容接口便于复用已有客户端;Kaggle 实验资源的时限和可用性需要与持续在线服务的要求分别考虑。