开源项目

LLM2Jev将本地语言模型接入类型化决策接口

Yinsongxu/LLM2Jev

模型推理解码与生成控制判别式推理与决策Jev

概述

LLM2Jev为本地Hugging Face兼容语言模型提供类型化决策封装。调用方提交状态、问题与允许选项,得到选择、概率或评分,无需先生成长回答再解析。 9月19日核心实现支持Transformers后端、CPU或CUDA执行,提供三种问题类型与Python示例;当时尚未加入图像输入。项目是独立实现,不隶属于TypeSafe;初版README标注MIT许可。图像、SGLang和MLX等能力按其后续更新时间分别核对。