开源项目
LLM2Jev增加共享前缀缓存,减少候选判断的重复计算
LLM2Jev: Turn LLMs into Jev-Style Decision Models
概述
LLM2Jev通过本地语言模型对固定选项评分,返回概率式结构化结果。9月21日版本增加冷请求的分阶段候选提交方式,让同一请求复用SGLang Radix Cache中的共享前缀,减少候选评分时的重复计算。 本次功能按1909c50bbd73ae5afa80e23431ea8ab211ce719f版本README核验。它与9月19日首版属于不同发布事件,保留两条ID;图像输入和MLX后端是之后的变化,不写进本条。