开源项目
LLM2Jev将本地语言模型接入类型化决策接口
Yinsongxu/LLM2Jev
概述
LLM2Jev为本地Hugging Face兼容语言模型提供类型化决策封装。调用方提交状态、问题与允许选项,得到选择、概率或评分,无需先生成长回答再解析。 9月19日核心实现支持Transformers后端、CPU或CUDA执行,提供三种问题类型与Python示例;当时尚未加入图像输入。项目是独立实现,不隶属于TypeSafe;初版README标注MIT许可。图像、SGLang和MLX等能力按其后续更新时间分别核对。