开源项目

vLLM-RLT:支持循环Transformer的推理引擎

ThinkFlowLab/vllm-rlt

AI 基础设施模型服务框架

概述

vLLM-RLT 基于 vLLM 扩展循环 Transformer 的执行,面向采用递归计算的模型。 项目基于vLLM扩展循环Transformer推理,将递归模型接入服务运行框架。