开源项目

FastLLM Proxy:为模型请求提供路由与故障切换

azrtydxb/Fastllm-proxy

AI 基础设施模型网关

概述

FastLLM Proxy是大模型请求代理与路由组件。它组织提供方路由、健康检查、故障切换和流式响应,可复用LiteLLM格式配置。仓库项目用途依据公开文档介绍;具体支持范围及安装步骤按对应文档确认。网关高可用仍需故障注入和超时测试,路由成功不代表下游模型结果可靠。