开源项目

dotLLM:.NET推理引擎

kkokosa/dotLLM

模型推理推理加速

概述

dotLLM是以C#/.NET原生实现的高性能大模型推理引擎,面向.NET技术栈的推理服务开发者,提供多模型支持、可插拔后端与采样抽象,并按层次暴露NuGet接口。工程并纳入当期新工程,README提供源码构建与模型运行命令。项目采用GPL-3.0许可证,配套网站与路线图文档,适合希望在.NET环境中自建推理能力的团队。