开源项目

Mapika/decider:决策模型推理服务更新

Mapika/decider 工程变化候选

AI 基础设施模型推理判别式推理与决策推理服务Jev

概述

Mapika decider 是结构化决策模型的推理库与服务,通过一次前向计算返回固定选项的概率。 Mapika decider 本周更新推理服务:启动时捕获 CUDA 图,限制请求与队列;增加按答案类型分别校准温度,随后提供 vLLM 服务后端。 分类型温度配置缺失时仍使用原统一温度,旧模型不会因此自动改变权重。应用需让校准设置与实际服务读取方式一致。