开源项目
LiteLLM v1.98.0：增加吞吐预留成本核算与部署级故障策略
BerriAI/litellm
概述
LiteLLM通过SDK与自托管代理网关统一接入不同模型提供商。v1.98.0增加在模型部署层配置预留吞吐固定成本，并按活跃小时汇总，成本归属需要显式启用。路由器支持每个部署独立设置allowed_fails_policy和cooldown_time，便于按后端调整失败容忍与冷却策略。版本还支持可选的session_id／trace_id日志关联，以及按密钥、团队和模型配置估计输出token用于限流；增加按部署发送SSE心跳的配置，缓解长流式响应被负载均衡器超时切断。自建网关团队可关注成本、路由和日志之间的联动，启用项与默认行为需按发行说明配置。